本发明属于人机交互,具体涉及一种基于肌电信号的遥操作视触觉反馈动态刷新方法。
背景技术:
1、在传统的遥操作任务中,常常利用虚拟现实技术将远端操作环境进行数字化描述,通过虚拟视景的方式呈现给操作者,使其对任务环境有较为直观的理解,提升其视觉沉浸感和操作效率。而面对日益复杂的遥操作任务,只有视觉反馈已经不足以满足操作者控制远端机器人执行复杂精细操作的需求,还需要借助触觉反馈,为操作者增加对远端机器人与环境之间接触信息的理解,从而使其获得较为完备的关于远端交互场景的反馈信息,提升其执行交互任务的沉浸感和工作效率。
2、为更好地体现场景的真实性,满足虚拟视景的高精度需求,视觉渲染需要处理的模型面片数据量非常巨大,再加上高分辨率的贴图,在交互过程中获得精细的视觉反馈,对计算机的算力提出了很高的要求。为降低精细视觉渲染对计算机硬件的需求,减少交互时的画面卡顿,细节层次(levels of detail,lod)技术应运而生。其核心思想是针对不同的状态显示不同分辨率的模型数据,从而高效、准确地进行模型渲染,减少人机交互过程中的卡顿现象。类似地,精细的触觉反馈也依赖于高频率、高精度的渲染,在反馈力的计算过程中需要引入高频的碰撞检测,同时考虑模型的表面粗糙度、刚度、阻尼等接触特性,这无疑进一步增加了对于计算机算力的需求。
技术实现思路
1、为了克服现有技术的不足,本发明提供了一种基于肌电信号的遥操作视触觉反馈动态刷新方法,首先建立多细节层次模型,包括触觉渲染模型和视觉渲染模型;然后获取操作者上肢的原始表面肌电信号;接下来将原始表面肌电信号输入信号提取模块获得操作者上肢肌肉紧张程度;再将肌肉紧张程度信号输入调节模块;最后呈现视触觉反馈。本发明方法能够增强操作者遥操作过程中的触觉沉浸感,从而提升其执行复杂精细操作任务的能力,同时该方法对计算机性能要求不高,易于实现。
2、本发明解决其技术问题所采用的技术方案如下:
3、步骤1:多细节层次模型建立;
4、步骤1-1:触觉渲染模型;
5、构建离散lod触觉渲染模型实现具有不同分辨率的触摸渲染;离散lod触觉渲染模型按分辨率由低到高共分为nf+1层,表示触觉渲染模型处于第if层级,其中if=0,1,…,nf,lf,0分辨率最低,分辨率最高;低层级的触觉渲染模型能够完全包络高层级的触觉渲染模型;
6、步骤1-2:视觉渲染模型;
7、采用离散lod视觉渲染模型,按分辨率由低到高共分为nv+1层,表示视觉渲染模型处于第iv层级,其中iv=0,1,…,nv,lv,0分辨率最低,分辨率最高;
8、步骤2:获取操作者上肢的原始表面肌电信号;
9、利用肌电传感器获取操作者上肢的表面肌电信号semg,定义时刻t采集的各肌电信号原始数据依次为其中ns为肌电传感器的信号通路数量;所组成的原始表面肌电信号向量为
10、步骤3:将原始表面肌电信号输入信号提取模块获得操作者上肢肌肉紧张程度;
11、步骤3-1:对原始表面肌电信号进行滤波预处理,得到的有效表面肌电信号为σ(t);
12、步骤3-2:在时域内采用具有固定时间长度的滑窗对滑窗内有效表面肌电信号σ(t)进行滑动平均,从而得到表征肌肉紧张程度信号β(t);
13、步骤4:将肌肉紧张程度信号输入调节模块;
14、步骤4-1:将肌肉紧张程度信号输入触摸渲染模型lod调节模块,触摸渲染模型lod调节模块利用肌肉紧张程度信息作为离散lod触摸渲染模型选择和切换的依据;
15、步骤4-1-1:设计离散lod触摸渲染模型执行切换时的肌肉紧张程度阈值序列;
16、设计离散lod触摸渲染模型执行切换时的肌肉紧张程度阈值序列为其中βfi∈(0,1),i=1,2,…,nf代表触摸渲染模型层级lf,i-1与lf,i之间相互切换的肌肉紧张程度阈值,且βf中的元素满足
17、步骤4-1-2:设计触摸渲染模型lod切换策略;
18、对每个阈值βfi,i=1,2,…,nf添加一对浮动因子和使得当肌肉紧张程度在中波动时,触摸渲染模型lod不会发生切换;其中和均大于0且满足:
19、
20、触摸渲染模型切换方式为:
21、
22、步骤4-2:将肌肉紧张程度信号输入视觉渲染模型lod调节模块;
23、步骤4-2-1:设计离散lod视觉渲染模型执行切换时的肌肉紧张程度阈值序列;
24、设计离散lod视觉渲染模型执行切换时的肌肉紧张程度阈值序列为其中βvi∈(0,1),i=1,2,…,nv代表视觉渲染模型层级lv,i-1与lv,i之间相互切换的肌肉紧张程度阈值,且βv中的元素满足
25、步骤4-2-2:设计视觉渲染模型lod切换策略;
26、对每个阈值βvi,i=1,2,…,nv添加一对浮动因子,包括和使得当肌肉紧张程度在中波动时,视觉渲染模型lod不会发生切换;其中和均大于0且满足:
27、
28、视觉渲染模型切换方式为:
29、
30、步骤4-2-3:设计局部视觉渲染的刷新域;
31、采用离散化视觉渲染模型lod模型,离散化视觉渲染模型lod模型的局部环境刷新域以操作者代理点的位置为中心,以操作者代理点移动速度矢量vo的方向为对称轴成对称扇形,扇形的圆心角为θ、半径为r且与操作者末端的移动速度的模vo呈正相关,即:
32、r=k|vo|
33、步骤4-3:将肌肉紧张程度信号输入模糊调节模块;
34、模糊控制器设计:
35、将当前时刻肌肉紧张程度变化率及当前肌肉紧张程度与两侧触摸渲染lod切换阈值的距离,即和共5个变量作为模糊控制器的输入,将5个变量分别用ω1,ω2,…ω5代替;将触摸渲染模型中的阻尼参数修正量△b作为模糊控制器的输出变量;
36、针对变量ω2,ω3,…,ω5定义模糊集合u1={bg,sm},其中的模糊子集依次代表大、小;针对变量ω1,△b定义模糊集合u2={po,ne,ze},其中的模糊子集依次代表正、负、零;
37、模糊子集bg和sm采用梯形隶属函数,po、ne、ze采用单一隶属函数,每个隶属函数的输出都属于[0,1];
38、定义模糊逻辑推理规则如表1:
39、表1模糊逻辑推理规则表
40、
41、对输出变量进行解模糊处理,将其映射为实数,应用到触摸渲染阻抗模型的参数修正中;选择最大隶属度法作为输出变量的解模糊方法,当最大隶属函数对应输出值的个数大于1时,利用所有具有最大隶属度输出值的平均值作为输出变量的值。
42、步骤5:呈现视触觉反馈;
43、步骤5-1:将视觉刷新域和视觉渲染模型lod输入视觉渲染模型呈现模块对操作者进行视觉反馈,所述虚拟场景呈现模块包括基于unity平台开发的视觉呈现软件,以及屏幕或vr眼镜等硬件设备所组成的能为操作者提供视觉反馈的功能模块;
44、步骤5-2:将阻抗参数修正值和触摸渲染模型lod输入触觉呈现模块从而对操作者进行触觉反馈,所述触觉呈现模块为手控器、手套等硬件设备及其配套软件所组成的能为操作者提供触觉反馈的功能模块。
45、优选地,所述对原始表面肌电信号进行滤波预处理的步骤为:
46、步骤3-1:采用陷波滤波器滤除48-52hz工频噪声;
47、步骤3-2:采用20hz-500hz的带通滤波器滤除运动伪影噪声;
48、步骤3-3:全波整流;
49、步骤3-4:采用截止频率为5hz的一阶巴特沃斯滤波器进行低通滤波;
50、步骤3-5:归一化。
51、本发明的有益效果如下:
52、本发明方法能够增强操作者遥操作过程中的触觉沉浸感,从而提升其执行复杂精细操作任务的能力,同时该方法对计算机性能要求不高,易于实现。该方法与常规视觉反馈遥操作方法相比在以下方面存在优势:1)本方法融入了触觉反馈,为操作者增加了对与远端机器人与环境之间接触信息的感知维度,从而使其获得更为完备的对于远端交互场景及状态的理解,提升其执行复杂精细遥操作任务的能力;2)本方法提出了基于表面肌电信号的触觉lod设计,使得在视觉反馈的基础上增加触觉反馈不对计算机系统的造成过多计算压力,同时该设计符合直觉,将进一步提升操作者执行操作任务的自然性。3)本方法提出采用模糊控制对触摸渲染阻抗模型的参数进行调节,从事实现了在离散触觉lod切换过程中,不会对操作者的触觉感知造成明显顿挫,能够实现触觉感知精细度的连续调节。
1.一种基于肌电信号的遥操作视触觉反馈动态刷新方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的一种基于肌电信号的遥操作视触觉反馈动态刷新方法,其特征在于,所述对原始表面肌电信号进行滤波预处理的步骤为:
