《测绘学 》
构建与学术的桥梁 拉近与权威的距离
龚建华1,3, 李文航1
1. 中国科学院遥感与数字地球研究所, 北京 100012;
2. 中国科学院大学, 北京 100049;
3. 浙江中科空间信息技术应用研发中心, 浙江 嘉兴 314199
收稿日期：2018-03-05；修回日期：2018-05-21
基金项目：国家自然科学基金（41371387；41571393）；装备发展部预研项目（315050501）；中国科学院战略性先导科技专项（A类）地球大数据科学工程（XDA19080101）
摘要：结合增强现实技术的发展，在虚拟地理环境发展的基础上，提出了“增强地理环境”的概念和虚实融合框架；主要研究了虚拟地理过程与三维打印模型沙盘融合的关键计算与可视化技术，具体包括虚拟地理空间与现实地理空间的坐标匹配、遮挡处理等算法，并以学校火灾人群疏散为案例，实现了人群疏散模拟虚实融合的增强地理环境可视化原型系统。通过系统测试和人员体验调查统计分析，证明了增强地理环境可视化技术的可行性和人群疏散模拟应用交互展示的创新性。
An Augmented Geographic Environment for Geo-process Visualization-A Case of Crowd Evacuation Simulation
GONG Jianhua1,3, LI Wenhang1, ZHANG Guoyong1,2, SHEN Shen1,2, HUANG Lin1,2, SUN Jun1,3
Abstract: Combining with the development of augmented reality (AR) technology, this paper proposed a conceptual framework about augmented geographic environment (AGE) based on the development of virtual geographic environments (VGE).Key computing and visualization technologies of the fusion of virtual geographic process and 3D printing realistic model, including the coordinate matching technology of virtual geospatial space and real geographical space and the technology of occlusion processing, are investigated.In the case of crowd evacuation, we implemented a prototype system for crowd evacuation simulation based on the AGE.Then we proved the novelty of the AGE by systematic testing and document investigation.We believe that the AGE is one of the future development of VGE.
Key words: augmented geographic environments virtual geographic environments augmented reality virtual reality crowd evacuation simulation visualization
1 增强地理环境概念与虚实融合框架
增强地理环境(augmented geographic environ-ments，AGE)是虚实地理空间、虚实地理对象和虚实地理过程等集成融合的人机交互环境(图 1)。现实地理环境和现实空间中的地理对象、地理过程经过相似性原理为基础的地理抽象，将现实世界数字化和地理原理、规律、准则等形式化，构建数值化、可感知交互的虚拟地理环境；并且在虚拟地理环境中，虚拟地理对象在虚拟地理模型为主要驱动力的相互作用下，以虚拟地理环境为空间边界，通过数值模拟、地理计算、真人虚拟参与等，形成虚拟地理过程。由于虚拟地理环境和现实环境在坐标系统、时空尺度、地理规律等具有相似性、匹配性和映射转换性，因此具有虚实融合的内在数学基础。
图 1 增强地理环境概念框架Fig. 1 The conceptual framework of AGE
这里需要指出，融合虚拟地理环境的现实地理环境目标载体可以有以下两种：一种载体是现实的“人”所生存的真实的地理环境，虚实融合的过程就是将虚拟地理对象、虚拟地理过程映射到真实的建筑、地理环境中去，时空尺度上保持绝对一致，实现对现实地理环境、现实地理对象和现实地理过程的增强和补充；第二种载体可以是地理实体模型构成的地理空间与场景(即缩微的物理实体模型沙盘及其空间边界)，虚拟地理对象、虚拟地理过程等在时空尺度上再次经过缩放，实现与沙盘空间的融合，构建增强地理环境。
增强地理环境中的虚拟地理环境和现实地理环境应该具有可协同交互性，首先应具有基础的视觉交互特性，即现实地理对象可以在视觉上遮挡虚拟地理对象，可以在现实空间感知、操控融合在现实地理环境中的虚拟地理对象和虚拟地理过程，虚拟和现实在视觉上达到交互统一；其次，在未来的发展阶段，还应该达到信息的交互，即虚拟地理过程及其发展应能影响甚至改变现实地理过程和现实地理环境，而现实的地理环境、地理边界和地理过程也会对虚拟地理过程有所反馈和约束，二者实现信息层次的互动或控制反馈。
这样，增强地理环境可以实现虚拟地理环境和现实地理环境的优势互补：一方面，现实地理环境可以展示更多的信息，对于不易呈现、出现概率较低、甚至存在危险的地理过程，可以使用虚拟地理过程代替；另一方面，对于虚拟地理过程，则增加了现实的属性，成为可视甚至可触摸、可控制操作的地理对象。
AGE与VGE的区别主要是：VGE是以虚拟空间为载体，将现实的地理对象、现实的地理过程和现实的地理环境映射为相应的虚拟地理对象、虚拟地理过程、虚拟地理环境，并在虚拟空间中进行表达、交互和演化；而AGE的目标载体则是现实空间，它是将虚拟的地理对象、虚拟的地理过程乃至虚拟的地理环境以现实空间为载体、与现实的地理对象、现实的地理环境、乃至现实的地理过程进行融合和集成。虚拟和现实关系在目前VGE的研究比较薄弱，存在着虚实割离或平行的问题；而AGE则将虚实重新联结和统一，是VGE大研究领域的一个重要发展方向。
AGE与增强现实的关系是，AGE在理念和技术上源于增强现实，是增强现实技术在地理学科中的应用和实践。AGE侧重于地理问题的表达和研究，需要结合地理理论和地理模型，或发展新的时空表达算法，实现对“人地关系”这一地理核心问题的模拟分析研究。
2 虚实融合过程可视化技术
图 2 系统技术路线Fig. 2 The technical framework of AGE system for crowd evacuation
2.1 虚实场景融合的坐标系统转换匹配
为实现虚拟与现实空间的转换，需要为虚拟空间坐标系统和现实空间坐标系统设计一对关联对象起到锚点的作用，锚点以实体对象的形式存在于现实空间，以数字特征形式存在于虚拟空间，两者在空间尺寸上保持一致，结构如图 3所示。系统采用特殊设计的二维码作为锚点，通过摄像头识别，摄像头拍摄到锚点后利用Vuforia AR引擎计算其与摄像头(HoloLens眼镜)的位置关系，然后与摄像头位置相加，计算出锚点在现实世界中的位置(Ox,Oy,Oz)。为简化坐标转化计算量，在虚拟空间中，锚点中心位置位于坐标原点。虚拟空间中对象在现实空间中位置计算过程如式(1)所示。
(1)
图 3 虚拟-现实坐标系转换Fig. 3 The coordinate system transformation between virtual and real spaces
式中，Ax、Ay、Az为虚拟对象在现实空间中的三维坐标；Ox、Oy、Oz表示锚点在现实空间中的位置；S为缩放系数，若现实锚点和虚拟锚点尺寸相同则为1；Px、Py、Pz为虚拟对象在虚拟空间坐标系中的位置。现实空间中模型水平放置，系统限制沙盘只能沿y轴在XOZ平面旋转，θ为沿y轴的旋转角度。经过坐标变化后，虚拟空间中的对象可以准确地叠加到现实空间中。
2.2 虚实对象与场景融合的遮挡计算
虚拟空间和现实空间的融合显示，不仅是将虚拟空间对象放置于正确的现实空间位置，更要保证其和现实空间的空间关系的正确性。本系统虚拟场景中烟、火特效与建筑物之间的空间关系，室内人群与建筑的墙体、门窗之间的空间关系需要准确的可视化表达。保证空间关系正确的关键是处理虚拟空间对象和现实空间对象之间的遮挡关系。
实现正确的遮挡计算，需要对现实空间中对象精确识别与建模，对有镂空结构的实体对象，要精确刻画其镂空结构，考虑到增强现实硬件设备的计算和渲染能力，对空间遮挡进行二值化处理，分为遮挡和未遮挡两种状态。目前增强现实设备中以微软的HoloLens眼镜的综合性能最佳，通过SLAM技术，实现对环境的整体感知。
HoloLens空间重建技术是利用两个深度相机对环境进行三维重建，目的是利用空间结构的特征点实时计算眼镜在现实空间中的位置，而不是刻画现实对象精确的空间结构。对空间的框架性结构，比如桌面、书架等具有良好的重建能力，对建筑沙盘(14 cm×14 cm×6 cm)的小目标，整体结构和内部细节结构均无法重建。如图 4(c)显示的是三维打印沙盘及所处背景环境，图 4(d)反映的是由HoloLens三维重建的沙盘及其背景环境，图 4(c)和图 4(d)中相同颜色线框划定区域表示真实环境和三维重建模型的大致对应区域：A、A′分别表示三维打印建筑沙盘和三维重建的建筑沙盘结构；B、B′分别表示书架和三维重建的书架结构；C、C′分别表示电脑屏幕和三维重建的电脑屏幕结构；D、D′分别表示工位隔间框架和三维重建的工位隔间框架结构；E、E′分别表示衣柜和三维重建的衣柜结构。如A、A′所示建筑沙盘三维重建后只能显示为一个凸起的几何结构，无法满足准确空间关系计算的需求。
图 4 三维打印沙盘及数字模型Fig. 4 The 3D printing building model and its source digital model
为实现虚实空间的精确遮挡关系计算，利用虚拟场景中静态对象的三维模型替代增强现实设备实时三维重建生成的环境模型，作为动态模型渲染的遮挡掩膜，比如建筑物墙体、围栏、树等环境模型，均可作为掩膜。掩膜作为虚拟场景渲染的辅助对象，在可视化过程中不进行 格渲染，仅保留其 格结构进行遮挡计算。遮挡计算的流程如图 5所示。掩膜的实现原理是通过Shader脚本控制场景对象的渲染顺序和混合模式实现，被遮挡对象渲染序列为2002，掩膜渲染序列为2001，掩膜的混合模式设置为“Blend Zero One”。
图 5 空间遮挡渲染流程Fig. 5 The rendering process of space occlusion
2.3 虚拟过程与现实空间的稳定融合技术
虚拟空间与现实空间通过识别码作为锚点建立坐标转换关系，经过坐标转换后，实现两个空间的初步融合。由于摄像头识别距离和角度限制，完成初步融合后，设备位置追踪由HoloLens空间重建模块处理，其位置追踪主要是利用空间几何结构进行位置解算，在小范围场景内由于几何结构相对简单，位置精度会随着设备移动产生较大累计误差。
图 6 融合误差削减流程Fig. 6 Error reduction process of mixing
3 增强地理环境原型系统及性能评测3.1 人群疏散增强地理环境原型系统
系统采用Unity引擎作为开发环境，跨平台编译为Windows通用应用平台(Universal Windows Platform)应用，最终部署于HoloLens增强现实眼镜中。如图 7所示，系统启动后首先扫描模型上的识别码(图 7(a))，扫描成功后(图 7(b))，虚拟场景加载并与真实环境相融合，系统运行过程中，可以表达正确的空间遮挡关系，虚拟对象之间的空间关系正确表达。包含三维打印沙盘以及化身人的虚拟疏散过程的增强地理环境。整体效果如图 7(c)所示，其中楼道处的区域的放大图，展示了建筑物和人之间的空间遮挡关系，人被墙体遮挡，但是透过窗户观察到未被遮挡的部分。
图 7 系统运行截图Fig. 7 Screenshot of the AGE prototype
3.2 增强地理环境中虚实空间融合的稳定性分析
虚拟空间与现实空间的融合分为两个过程：①通过摄像头扫描识别码，完成虚拟空间坐标系统原点初始化，将该坐标原点记为Porigin；②完成坐标初始化后，需要对HoloLens眼镜的位置进行实时追踪，追踪过程利用其内置的位置追踪模块完成。由于追踪过程的不稳定性，会造成Porigin位置偏移抖动，引起融合误差，继而影响可视化效果，因此，需要评测其稳定性。
Porigin的融合误差跟HoloLens眼镜与沙盘的距离，眼镜移动速度相关。图 8(a)测试条件为识别标识码后，移动眼镜至识别范围外后保持相对静止，第1到150帧表示在识别范围内随着设备远离沙盘，Porigin融合误差升高，直至超出摄像头识别范围后保持眼镜相对稳定，Porigin维持在6 mm左右波动，该阶段虚实空间位置匹配由HoloLens内置位置追踪模块提供。图 8(b)测试条件为以大约4.5°/s的角速度绕沙盘旋转，统计曲线显示HoloLens移动位置突变会引起Porigin较大幅度的波动，体验者可以感觉到明显的虚拟场景抖动。而且随着位移积累，Porigin融合误差升高。导致该现象的主要原因是沙盘背景几何结构简单，HoloLens的SLAM不足以提供精确的位置参考。可以通过重新扫描识别码进行虚拟空间与现实空间坐标系重新匹配，降低由此产生的高误差值，使误差回到图 8(a)所显示的水平。
图 8 虚实空间融合精度分析Fig. 8 Test of the accuracy of the AGE
在虚拟场景渲染性能上，原型系统的目标运行设备HoloLens的CPU、RAM、GPU性能远低于普通的台式计算机性能，因此直接统计这类设备的性能不具备横向对比的参考意义。故选取每秒帧率(frame per second，FPS)作为性能评价指标。通过获取系统运行期间的帧率数据，进行可视化分析，形成如图 9所示的帧率分布曲线。系统启动后扫描识别码时，由于虚拟场景尚未加载，帧率维持在25 FPS左右。从第5秒左右开始，虚拟场景载入，此时帧率维持在15 FPS左右。然而在实际使用过程中，通过问卷返回的结果反馈，系统体验流畅。主要原因是AR场景是将虚拟对象叠加到真实空间中，视野主体是现实空间。虚拟场景相对低帧率不会造成显著的渲染卡顿。
图 9 系统运行帧率变化曲线Fig. 9 The FPS curve when application is running
造成系统帧率偏低的原因有两个：①系统需要通过摄像头实时扫描周边环境，进行虚实场景匹配融合，需要耗费大量的计算资源；②系统中有100个虚拟人化身，每个人都有动作绑定，场景需要进行的渲染量巨大。
3.3 可视化原型系统用户体验与问卷统计分析
结合调查问卷题意与数据分析，可以得出以下结论：从系统效果与性能方面来看，原型系统可以流畅地运行，增强现实场景沉浸感较强，观察与漫游等交互方便，并且容易学习使用；从用户体验角度来看，物理模型上叠加展示虚拟疏散过程，是一种新颖的可视化形式，用户能感觉到虚拟疏散的人群在现实物理模型空间中活动；由于虚拟物体被现实物理模型的遮挡效果明显，用户可以感受到教学楼模型内的逼真的疏散过程。但另一方面，调查问卷结果也反映出了原型系统的问题，如变换视角会出现抖动或偏移等，这也为增强地理环境可视化的下一步工作提出了可以改进的方向。
4 结论与讨论
(1) 发展第一人称视角的体验式增强地理环境，即以参与者位于的现实地理环境为研究环境，虚拟的地理数据和虚拟地理过程将以此为载体在可视化的层次上集成进入现实地理环境，由此构建出增强现实的地理环境，参与者将以第一人称的身份介入，实现对增强现实地理环境的体验和研究。
(2) 发展虚实过程交互性的增强地理环境，即虚拟地理过程、现实地理环境、现实地理过程之间实现能量和信息的交互，虚拟的地理过程将会影响(乃至改变)现实的地理环境，现实的地理过程也将影响虚拟的地理过程，在此基础上，实现现实地理环境和虚拟地理环境的真正融合，虚拟与现实二者不再区分彼此，形成虚拟地理环境发展的高级阶段。
【引文格式】龚建华, 李文航, 张国永, 等. 增强地理环境中过程可视化方法——以人群疏散模拟为例. 测绘学 ，2018，47(8)：1089-1097. DOI:
10.11947/j.AGCS.2018.20180111
精
彩
回
顾
《测绘学 》2018年第8期 刊发布
头条| 关于召开“重大工程测量新技术应用暨北京新机场、 冬奥会测绘项目 技术交流与现场观摩研讨会” 的（二号） 通知
看《延禧攻略》，还需要配合这份故宫地图！
当AI表现出种族或性别歧视，除了震惊我们还能做什么？
你从未见过的长江全貌，中华民族的象征，美到超出想象！
论文推荐| 邸凯昌：视觉SLAM技术的进展与应用
《测绘学 》 “数字摄影测量与机器视觉专辑”在CPGIS2018北京论坛发布
听李德仁、杨元喜、龚健雅三位院士讲述“我的科研故事”
机器视觉| 晏磊：航空遥感平台通用物理模型及可变基高比系统精度评价
权威 | 专业 | 学术 | 前沿
微信投稿邮箱 | song_qi_fan@163.com
进群请备注：姓名+单位+稿件编号
声明：本站部分文章内容及图片转载于互联 、内容不代表本站观点，如有内容涉及侵权，请您立即联系本站处理，非常感谢！