本发明涉及一种内容敏感的虚拟路径重定向方法。
背景技术：
由于现实世界中的障碍物的存在和空间的局限，在大型虚拟环境中模拟自然行走仍是一个挑战。因此有研究者提出了路径重定向方法，它可以修改虚拟环境中的用户路径，让用户遵守现实空间的物理限制的同时在虚拟场景中漫游。路径重定向的方法主要分为静态映射和动态映射两类。
在动态重定向步行的过程中，程序通过轻微的场景旋转和平移来改变提供给用户的视觉输入，给用户带来在大空间中行走的错觉，从而避免了来自物理障碍物的干扰。动态重定向步行的挑战在于设计对用户位置和方向的操纵，该操纵同时要足够大以实现避开障碍物，并且要足够小以保持不被察觉。而在较小的现实空间(如四平方米的方形空间)中，动态映射很难在用户感知不到情况下进行重定向，且这样会导致用户的虚拟幻境头晕现象。
在静态路径重定向中，以可用物理空间和虚拟场景作为输入，在预处理中将虚拟场景的可行走子空间映射到物理空间。当用户在虚拟场景中漫游时，视线中的场景会变形，以引导用户更改其路径以符合物理空间。静态映射的目标是将失真设计得尽可能不明显，以使体验尽可能接近实际探索的原始虚拟场景。
现有的方法并没有对于虚拟场景内容的分析，而在本发明中，我们将虚拟场景的内容信息考虑了进来，我们提出了一种内容敏感的虚拟路径重定向方法，旨在减少视觉细节丰富的区域的失真，从而为用户在虚拟环境中漫游时提供高质量的视觉探索体验。我们的方法对虚拟场景视觉特征的分析，提取出用户对场景扭曲较敏感的区域，即特征分布较密的区域，与用户不感兴趣的区域区分开来。然后根据视觉特征的分布，来指导虚拟空间到物理空间的映射，同时利用特征分布指导静态映射重定向的渲染过程，减少特征密度较高的区域的扭曲度。
技术实现要素：
本发明解决的技术问题是：提出了一种内容敏感的虚拟路径重定向方法，旨在减少视觉细节丰富的区域的失真，从而为用户在虚拟环境中漫游时提供高质量的视觉探索体验。我们的方法对虚拟场景视觉特征的分析，提取出用户对场景扭曲较敏感的区域，即特征分布较密的区域，与用户不感兴趣的区域区分开来。然后根据视觉特征的分布，来指导虚拟空间到物理空间的映射，同时利用特征分布指导静态映射重定向的渲染过程，减少特征密度较高的区域的扭曲度，提高用户真实感体验。
本发明的主要创新点是：(1)提出并实现了基于虚拟场景的视觉特征的路径重定向框架。据我们所知，这是第一个考虑视觉特征的路径重定向框架。(2)提出了视觉特征贴图的概念，并将其用于在虚拟现实漫游中存储虚拟场景的几何形状和外观特征的分布中；(3)提出并实现了一种基于质子弹簧的路径优化方法，将虚拟路径映射到物理空间，其中考虑了视觉特征贴图计算出的变形敏感因素；(4)提出并实现了一种保留细节的渲染方法，用于在虚拟现实中重定向用户时渲染三维场景。
本发明采用的技术方案为：一种内容敏感的虚拟路径重定向方法，其特征在于包括以下三个步骤：
步骤(1)、特征贴图的构建：对虚拟三维场景提取视觉特征，然后生成特征贴图。特征提取部分首先考虑利用图像特征提取技术实现三维场景的特征提取。这需要在三维场景中设置一系列相机位置，以做到从这些位置观察能完全覆盖场景所有部分，且能更好地提取特征。设置完相机位置后，在这些位置渲染场景的彩色图和深度图，然后在这些图中提取显著度、边缘、直线、直角等特征。再提取三维网格的法线变化特征作为三维视觉特征。并将各种特征进行合并，由此计算出三维网格上所有点的视觉特征密度值。最后利用烘焙技术将特征密度值保存到特征贴图中。
步骤(2)、内容敏感的静态映射路径优化：该方法使用了基于质子弹簧模型的力学模拟系统，在系统中设置了传统的保长弹簧和本文自创的保角弹簧，并根据步骤一种构建的特征贴图，计算出场景各个区域的扭曲形变敏感度，依据此来指导路径优化。该优化策略结合了以往的全局优化方法和分段优化方法，使用递增式的优化策略，避免了全局优化得到可行解速度慢的缺点和分段优化缺少全局考虑的缺点，在快速得到可行解的同时一直进行全局优化。
步骤(3)、细节保真的路径重定向方法：再次利用特征分布信息，使用保留细节的渲染算法来渲染虚拟场景，并根据上一步的路径映射实时重定向用户。该方法分为两部分，首先根据特征贴图计算特征密度分布，并根据特征密度分布将空间进行了聚类。然后在基于扭曲场景和静态路径映射的重定向渲染方法的基础上进行了改进，以及通过基于模板缓存的去遮挡算法来剔除遮挡后渲染。该算法使渲染效果中高细节部分的失真减少。
本发明的原理在于：
(1)本方法的内容敏感的路径重定向方法的目标是使虚拟场景的变形更易于接受，这就意味着：局部变形应与虚拟场景的视觉细节特征相关联，即如果虚拟场景中的某个区域中有许多细节可能让用户注意到，那么此区域的变形应该较小，而如果某个区域没有细节，则此区域的变形可以比较大。要满足这个条件，就要找到用户可能会关注的虚拟场景的细节视觉特征。因此我们从图像和三维虚拟场景的角度提取显著度、边缘、直线、直角、三维网格的法线变化等视觉特征，并将它们合成为特征贴图。
(2)在内容敏感的静态映射路径优化方法中，使用了基于质子弹簧模型的力学模拟系统，在系统中设置了传统的保长弹簧和本文自创的保角弹簧，并根据步骤一种构建的特征贴图，计算出场景各个区域的扭曲形变敏感度，依据此来指导路径优化。该优化策略结合了以往的全局优化方法和分段优化方法，使用递增式的优化策略，避免了全局优化得到可行解速度慢的缺点和分段优化缺少全局考虑的缺点，在快速得到可行解的同时一直进行全局优化。
(3)为了实现细节保真的路径重定向方法，利用特征分布信息，我们使用保留细节的渲染算法来渲染虚拟场景，渲染结果具有更好的细节保真度。
本发明与现有技术相比的优点在于：
1、本发明提出并实现了基于虚拟场景的视觉特征的路径重定向框架。据我们所知，这是第一个考虑视觉特征的路径重定向框架。相比其他重定向框架，本发明能在高细节区域减少变形，并能提高用户体验。
2、本发明提出的内容敏感的静态映射路径优化方法，结合了以往的全局优化方法和分段优化方法，使用递增式的优化策略，避免了全局优化得到可行解速度慢的缺点和分段优化缺少全局考虑的缺点，在快速得到可行解的同时一直进行全局优化。
3、本发明提出的内容敏感的虚拟路径重定向方法，与非内容敏感的方法相比，本发明的方法将平均路径失真降低了12％到28％
4、本发明提出的细节保真渲染方法，与没有细节保真的方法相比，可以很好地保持具有视觉特征物体的形状。
5、本发明的方法，保留了参与者感兴趣的物体形状，因此参与者在视觉感知方面感觉更加真实。
附图说明
图1为总体流程图
图2为提取场景特征示意图
图3为扭曲敏感度贴图
图4为特征敏感的静态映射计算示意图
图5为保角弹簧系统受力示意图
图6为贝塞尔映射示意图
图7为贝塞尔映射渲染结果
图8为基于模板缓存的去遮挡算法示意图
图9为路径扭曲对比示意图
图10为用户实验与对比图
具体实施方式
图1给出了内容敏感的虚拟路径重定向方法的总体处理流程，下面结合其他附图及具体实施方式进一步说明本发明。
1、特征贴图的构建
内容敏感的路径重定向方法的目标是使虚拟场景的变形更易于接受，这就意味着：局部变形应与虚拟场景的视觉细节特征相关联，即如果虚拟场景中的某个区域中有许多细节可能让用户注意到，那么此区域的变形应该较小，而如果某个区域没有细节，则此区域的变形可以比较大。要满足这个条件，就要找到用户可能会关注的虚拟场景的细节视觉特征。因此我们从图像和三维虚拟场景的角度提取显著度、边缘、直线、直角、三维网格的法线变化等视觉特征，并将它们合成为特征贴图。特征贴图的构建供需要三个主要步骤：提取相机的设置，特征提取，特征贴图的生成。
(1)由于要提取的是较容易被用户注意到的场景细节视觉特征，因此可以用若干相机模仿人的视线在场景中观察场景，然后从这些相机渲染出的图片中提取特征。为了更好地提取特征，设置相机、提取特征的过程可以多次迭代。
(2)在特征提取这一步，我们提取了上一步采集到的图像的多个特征：显著度的提取、边缘直线直角的提取、以及网格边缘特征的提取。显著度和边缘直线直角的提取都是基于图像特征提取技术，而网格边缘特征则是基于图形特征的提取技术。虚拟场景的三维网格每个顶点法线变化梯度计算公式如下：
最后提取到的特征集合如图2所示
(3)上两步分别介绍了相机位置的设置和各类特征的提取，设置的每个相机的视角v下都会渲染相同分辨率的场景彩色图和深度图，而图中每个像素都对应场景网格中三角形上的唯一的一点p，p在视角v下有显著度值sp、边缘ep、直线lp、直角cp，且点p在渲染时可以得到来自场景网格的顶点上的三维网格细节特征gp，要将这些值综合，得到点p在视角v下的细节视角特征密度值fp。要将多个特征合并，具体的合并公式如下：fp＝(sp*w1 w2)*(ep*w3 lp*w4 cp*w5) gp*w6，其中w1-w6是各个参数的权重，显著度越高的地方，其他的特征越容易被关注，但每个特征也有固有的显著度，用w2表示这部分。根据该公式能得出每一个相机位置渲染出的图片中的每一个像素的特征密度值。而这个值也可以对应场景网格三角形上的一点的特征密度值。特征贴图如图3所示。
2、内容敏感的路径静态映射优化算法
该方法使用了基于质子弹簧模型的力学模拟系统，在系统中设置了传统的保长弹簧和本文自创的保角弹簧，并根据步骤一构建的特征贴图，计算出场景各个区域的扭曲形变敏感度，依据此来指导路径优化。该优化策略结合了以往的全局优化方法和分段优化方法，使用递增式的优化策略，避免了全局优化得到可行解速度慢的缺点和分段优化缺少全局考虑的缺点，在快速得到可行解的同时一直进行全局优化。最后得到的优化后的虚拟场景骨架m到物理空间的映射m′，有了这个骨架映射，就可以根据映射渲染场景，实现基于场景变形的静态映射的路径重定向。
我们首先将场景结构化，便于输入系统。场景被分割为若干长宽约一米的矩形，每个矩形作为节点，并记录所有矩形间的连接关系，组织为无向图的数据结构，用邻接表的形式存储。为了根据场景的路径图来渲染场景，还要将每个矩形细分为四个相等的小矩形，矩形四个顶点细分到九个顶点，作为场景的骨架。
优化过程中首要的目标就是所有场景中的地点不能越过这个空间，否则用户在漫游场景时将无法到达超出的部分，因此优化时所有顶点不能越出设置好的界限，即物理空间范围。然后还要求总体变形尽量小，且每个部分的变形都不能太大，即场景的骨架的形状不能变化太大。
根据这些目标，设定一个限制条件和三个优化条件：
1.限制条件。一个设场景中所有顶点为v1～vn，链接这些顶点的边为e1～em，则限制条件为v1～vn都要在物理空间内。
2.优化条件。每条边ei的长度变化δe＝|||ei||-||ei0|||要尽量小，即max(δe)尽量小，同时整体变化的平均值average(δe)也要尽量小。这样就能控制拉伸和压缩形变
3.优化条件。相邻两条边eiej的夹角∠eiej相对于初始状态下的夹角∠ei0ej0有：δθ＝|∠eiej-∠ei0ej0|，要使所有的夹角的平均值everage(δθ)尽量小，每一个夹角δθ也尽量小即max(δθ)尽量小，这样就控制了整体旋转变形。
该优化问题，要优化的对象是场景的骨架，具有很多节点，节点间的拓扑结构规则，也非常适合用质子弹簧系统来模拟优化。因此本方法将场景骨架的顶点作为质子，顶点间的连线作为弹簧，将其输入到质子弹簧模拟系统中进行优化，如图4所示。
我们在传统的质子弹簧系统中又加入了新的弹簧系统：保角弹簧系统(如图5所示)。保角弹簧不同于普通的质子弹簧模型，是本发明自创的模型，其不遵循胡克定律。保角弹簧设置于链接在同一质子mi的两个边
我们结合了全局优化方法和分段式优化方法，递增式的依次将每段加入质子弹簧优化系统，加入的过程中不断的进行全局优化。在递增式加入片段的过程，每加入一个片段，都会按照如下公式tij＝kδx、
该优化的终止条件和解的生成：
当全部节点添加完毕且δθ和δl达到预期水平之后，就可以终止系统运行，并根据系统状态生成解。在得到最优系统状态后，就可以以质子位置为骨架顶点，弹簧为顶点间拓扑链接关系，还原出场景的骨架m′，作为映射后的场景骨架，然后输出m′作为解。
3、细节保真的路径重定向方法
再次利用特征分布信息，使用保留细节的渲染算法来渲染虚拟场景，并根据上一步的路径映射实时重定向用户。该方法分为两部分，首先根据特征贴图计算特征密度分布，并根据特征密度分布将空间进行了聚类。在基于扭曲场景和静态路径映射的重定向渲染方法的基础上进行了改进，并通过基于模板缓存的去遮挡算法来剔除遮挡。该算法使渲染效果中高细节部分的失真减少。
算法步骤如下：
(1)场景分为若干片段，对于每个片段，由于垂直方向上高度的坐标并不需要变换，即映射前后z值不变，映射相当于在xoy平面上进行变换。因此利用了二阶贝塞尔映射来根据骨架映射得出虚拟空间点到物理空间的映射(如图6所示)。
(2)我们利用光线传播的连续性剔除遮挡，在渲染一个片段时，先将片段入口渲染到模板缓存，片段入口在屏幕上覆盖的区域即为可以看到当前片段的区域，且如果以当前片段为根，在场景拓扑图的子树都要通过这个入口才能看见。(如图8所示)分段式的渲染方法为根据拓扑顺序递归渲染，在每一层都会写模板，且只能渲染在模板缓冲上面所以层标记的交集部分，这样就模拟了光线在片段的拓扑结构上的传播，避免了片段间的重叠。
(3)我们根据特征贴图进行细节保真渲染，从而更细致地区分场景的高细节区和低细节区，使高细节区有更少的变形。渲染结果以及对比如图9和图10所示。
实验使用的硬件配置是inteli7-9700k处理器，nvidiageforce1080ti显卡,16g内存。运行在windows1064位系统上。所有涉及到效率测试的程序是都使用o2级优化进行编译的64位程序。
本发明未详细阐述的技术内容属于本领域技术人员的公知技术。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
1.一种内容敏感的虚拟路径重定向方法，其特征在于包括以下三个步骤：
步骤(1)、特征贴图的构建：对虚拟三维场景提取视觉特征，然后生成特征贴图；特征提取部分首先考虑利用图像特征提取技术实现三维场景的特征提取；这需要在三维场景中设置一系列相机位置，以做到从这些位置观察能完全覆盖场景所有部分，且能更好地提取特征；设置完相机位置后，在这些位置渲染场景的彩色图和深度图，然后在这些图中提取显著度、边缘、直线、直角等特征；再提取三维网格的法线变化特征作为三维视觉特征；并将各种特征进行合并，由此计算出三维网格上所有点的视觉特征密度值；最后利用烘焙技术将特征密度值保存到特征贴图中；
步骤(2)、内容敏感的静态映射路径优化：该方法使用了基于质子弹簧模型的力学模拟系统，在系统中设置了传统的保长弹簧和本文自创的保角弹簧，并根据步骤一种构建的特征贴图，计算出场景各个区域的扭曲形变敏感度，依据此来指导路径优化；该优化策略结合了以往的全局优化方法和分段优化方法，使用递增式的优化策略，避免了全局优化得到可行解速度慢的缺点和分段优化缺少全局考虑的缺点，在快速得到可行解的同时一直进行全局优化；
步骤(3)、细节保真的路径重定向方法：再次利用特征分布信息，使用保留细节的渲染算法来渲染虚拟场景，并根据上一步的路径映射实时重定向用户；该方法分为两部分，首先根据特征贴图计算特征密度分布，并根据特征密度分布将空间进行了聚类；然后在基于扭曲场景和静态路径映射的重定向渲染方法的基础上进行了改进，以及通过基于模板缓存的去遮挡算法来剔除遮挡后渲染；该算法使渲染效果中高细节部分的失真减少；
前两步为离线渲染，第一步中，我们从虚拟几何和纹理中提取与视图相关的视觉特征和与视图无关的视觉特征，将它们组合在一起，然后将它们烘焙到视觉特征贴图中；特征贴图是虚拟场景网格的纹理，其中包含提取的视觉特征的分布；在第二个离线步骤中，利用质子弹簧优化来计算虚拟场景可步行子空间与物理空间之间的映射；将质子放置在可步行虚拟空间网格的顶点位置，并且弹簧将基于特征贴图设置弹力系数；系统运行至平衡的状态定义了虚拟到物理的映射；然后，在实时渲染时，将使用针对当前视点进行了优化的静态映射来渲染虚拟场景，以遵守物理空间限制，同时将视觉失真最小化。
技术总结