JWRR  >> Vol. 7 No. 6 (December 2018)

    MR技术在小流域山洪灾害防治中的应用研究
    Application of Mountain Flood Disaster Prevention and Control in Small Watershed Based on MR Technology

  • 全文下载: PDF(1048KB) HTML   XML   PP.610-616   DOI: 10.12677/JWRR.2018.76069  
  • 下载量: 188  浏览量: 2,121  

作者:  

杨培生,付佳伟:江西省水利科学研究院,江西 南昌;
周美玲:江西省水投生态环境有限公司,江西 南昌

关键词:
山洪灾害防治MR技术交互Disaster Prevention and Control of Mountain Torrents MR Technology Interaction

摘要:

随着科学技术的发展,VR、AR、MR等技术日益完善,作为虚拟现实成像领域最前沿的技术,该技术将会广泛应用于小流域山洪灾害场景模拟中。本文通过MR系统把山洪灾害防治的现实环境构成虚拟场景,利用专业引擎去与GPU互换数据,动态渲染模拟光源,实现在MR中模拟演示山洪灾害暴发过程,并结合当地山洪灾害防御体系建设情况,模拟演示灾害发生过程中当地监测、预警、转移安置、抢险救灾等应急响应工作。该技术将充分发挥信息化技术对基层防汛业务管理水平的提升,提高自身防灾减灾意识和灾害避险能力,从而减少因山洪灾害造成的人员伤亡和财产损失。

With the development of science and technology, VR, AR, MR and other technologies are becoming more and more perfect. As the most advanced technology in virtual reality imaging field, this technology will be widely used in the scene simulation of mountain flood disaster in small watershed. In this paper, the real environment of flood disaster prevention and control is composed of virtual scene by MR system, using professional engine to exchange data with GPU, dynamically rendering analog light source, simulating and demonstrating mountain flood disaster outbreak in MR, and combining with the construction of local flood disaster defense system to simulate demonstration of local monitoring, emergency response, relocation, emergency rescue and disaster relief during the process of disaster occurrence. The technology will make full use of information technology to improve the level of flood control management at the grass-roots level, improve the consciousness of disaster prevention and disaster reduction, and reduce the casualty and property loss caused by mountain torrents.

1. 前言

在物联网、云计算、大数据、人工智能等技术快速发展的时代背景下,虚拟现实(VR)、增强现实(AR)、混合现实(MR)等技术渐显成熟,VR是纯虚拟数字画面,通过渲染技术,结合人机交互的方式,给体验者沉浸式的画面;AR虚拟数字画面加上裸眼现实 [1] ,利用光学和3D建模技术,并通过交互的方式,实现物体模型生动形象的展示;MR是数字化现实加上虚拟数字画面,结合了VR与AR的优势,既能通过光学和3D建模模拟真实的物体,又能给与体验者沉浸式的体验,这种虚实结合和交互式的方式得到了更多人的青睐,三者的区别如表1所示。国内外众多学者对MR技术应用开展了大量的研究和探索,主要集中在游戏、旅游、教育、医疗等领域 [2] ,如教育方面,采用MR技术开展立体式教学,不仅让学者更直观的感受所教内容,还可提高学者的学习兴趣。但是,MR技术在小流域山洪灾害防治领域中的应用研究和实践几乎为空白,本文将MR技术引入山洪灾害防治中,以丰富形象的方式展示山洪灾害典型场景,为防汛指挥者提供指导意见,提升山洪灾害防治的现代化水平。

Table 1. Distinction of VR, AR, MR

表1. VR、AR、MR三者区分表

2. MR技术简介

2.1. MR技术

混合现实(Mix reality,简称MR),指的是合并现实和虚拟世界而产生新的可视化环境,在新的可视化环境里物理和数字对象共存,并实时互动。该技术最早由多伦多大学教授Steve Mann提出,在上世纪八十年代,为了增强自身视觉效果,让眼睛在任何情境下都能够“看到”周围环境,Steve Mann设计出可穿戴智能硬件,这被看作是最早对MR技术的探索。

由于VR技术是MR技术的发展基础,因此MR系统在硬件设施设备的构成上与其具有很大的相似性,MR技术重在利用虚拟物体在现实世界中的完美融合及展现,在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路,增强体验的真实感 [3] 。MR技术实现的步骤如图1所示,首先通过获取真实世界场景信息,通过3D建模、场景定位分析等技术,生成虚拟场景,最终达到虚拟与现实的结合显示。

Figure 1. Steps of MR technology implementation

图1. MR技术实现步骤

2.2. MR技术的应用

目前MR技术主要应用于娱乐、医疗、教育、导航、购物、旅游等领域。娱乐方面,已广泛用于游戏、电影等行业,客户戴上MR眼镜即可沉浸其中,有着身临其境的现场感受 [4] ;医疗方面,MR可帮助治疗一些恐惧症如恐高症,主要通过模拟某种环境已让患者适应,还可虚拟拜访医生 [5] ;教育方面,主要是采用MR技术的教育体验课程和立体式教学课程 [6] 。购物、旅游方面可以为用户提供更全面、真实、周到的体验,例如,旅游者看到哪里,MR设备就会呈现出对应的历史、原貌等信息 [7] 。以后该技术的应用可延伸到以下大领域:视频游戏、事件直播、视频娱乐、医疗保健、房地产、零售、教育、工程和军事 [8] 。

3. MR技术在小流域山洪灾害防治中的应用

结合山洪灾害防治体系“以防为主、防抗救相结合”的工作方针,以修水县为例,以山洪灾害频发的小流域为对象,选取修水县杭口水流域(新湾乡南茶水库段至上杭乡双鄄村),开展MR应用研究。

3.1. 总体框架设计

通过MR系统把防灾减灾的现实环境构成虚拟场景,利用专业引擎去与GPU互换数据,并通过METAL、OpenGL ES2、OpenGL ES3等接口去动态渲染模拟光源,并将模型表面贴图虚拟真实化 [9] 。系统总体框架图如图2所示。

Figure 2. MR system framework

图2. 系统总体框架图

1) GPU动态光影底层技术

通过虚拟化平台的直通技术可以将显卡直接给虚拟机使用,与物理机接入显卡效果基本一致,只要安装了对应显卡的显示驱动,显卡就可以为这个虚拟机提供高性能的图形能力。GPU虚拟化/共享能够将一个物理存在的显卡分享给多个虚拟机使用,每个虚拟机将获得更好性能图形处理能力。并且将虚拟机与次时代引擎相结合,将RGB值与Alpha值进行调整,形成动态光影(自然光)。

2) 渲染管道映射

应用程序阶段:CPU与内存相互数据交互,例如计算好的数据(顶点坐标,法向量,纹理坐标,纹理贴图)就会通过数据总线传递给图形硬件。

3) 几何节点

主要负责顶点坐标变换,光照,裁剪,投影以及映射,在该阶段的末端得到经过转换和投影之后的顶点坐标,RBG值,以及纹理坐标。几何阶段主要工作就是“变换三维顶点坐标”和“光照计算”。

4) 光栅阶段

模型经过模型的顶点转换,并且投射到二维平面,并且把屏幕中的每个像素点进行光栅化,并且指定每个像素点在屏幕当中所占用的位置,最终在屏幕中显示成图片或者三维图片。

5) 光影处理层

主要通过该层级将硬件光栅化提供的光源数据转换成引擎内部色彩数据,并且校准坐标系为引擎左手坐标系。

6) 显示层结构

控制层通过发送事件及信号,将引擎的逐帧处理函数得到实施运行与处理,并且将三维模型层中的模型进行本地序列化,将模型数据存放到硬盘中,起到优化作用。视图层中的所有内容都是每帧通过渲染器进行每秒90次渲染形成UI及光影,还有粒子效果。

3.2. 小流域信息

所选小流域的流域面积为135.07 km2,山洪灾害频发,流域内共有23个山洪灾害重点防治区,部分村庄防洪年限不足5年一遇,流域上游有小(1)型水库南茶水库。结合该小流域实际,利用MR技术、场景融合等新技术手段,在Hololens应用平台中营造出信息融合的、交互式的三维动态视景的模拟环境,实现在MR中模拟演示山洪灾害暴发过程,并结合当地山洪灾害防御体系建设情况,模拟演示灾害发生过程中当地监测、预警、转移安置、抢险救灾等应急响应工作。让不同受众对象身临其境,防汛工作人员能进一步明确自身工作职责,以提高其责任意识和业务能力;普通群众能够深刻感受到山洪等自然灾害的突发性和巨大破坏性,提高自身防灾减灾意识和灾害避险能力,从而减少因山洪灾害造成的人员伤亡和财产损失。

3.3. 山洪暴发场景设定

预先对小流域及村庄进行建模,生成适配配置的优化后的模型,并根据山洪灾害调查评价成果,关联各山洪灾害重点防治区内的人口信息。利用影视特效移植到引擎进行制作,当用户带上MR会观察到暴雨场景,可输入降雨值或对接附近自动监测站点,模拟河道涨水直至山洪暴发的过程。当降水量的数据达到特定雨量时,MR中显示的河流水位越来越高,山洪暴发,沿河集镇、自然村落等被洪水淹没,农田、道路桥梁、居民住宅等基础设施被冲毁,人民生命财产受到威胁,给当地带来了较为严重的灾害。在此过程中,MR模拟当地山洪灾害防御体系过程,分监测、预警、转移安置、灾害发生 [10] 等几个步骤:

监测:充分利用上游的自动雨量站、自动水位站数据,使MR系统关联到该监测站,当自动雨量站监测到某段时间降雨量达到该地区临界预警值,自动水位站监测到的河道水位在逐步上涨至预警水位值,MR模拟山洪暴发之前的天气气象情况、雨情和水情。模拟雨情时应结合降雨大小,让体验者体验到小雨、中雨、暴雨、大暴雨、特大暴雨等的亲身体验;模拟水情时,应结合堤防或水库的涨水现场,让体验者体会涨水的过程及现场的险峻形势。

预警:当监测站点的水位或者雨量值达到对应的预警指标时,当地防汛责任人在接到上级防汛抗旱指挥部发出的短信和电话预警通知,启动山洪灾害防御预案,各级防汛人员迅速上岗开展工作,水库管理员和堤防巡查员对水库、堤防等重点防洪工程进行巡查,此时河道水位快速上涨,简易水位报警站和简易雨量报警器发出准备转移通知,村级防汛责任人采用手持喊话器或者无线预警广播提醒危险区群众做好山洪灾害防范措施。

转移安置:当水位达到准备转移水位时,防汛责任人使用手遥报警器、手持喊话器、无线预警广播、铜锣等预警设备通知危险区居民准备转移;随着水位上涨,简易水位报警站等设备发出立即转移预警,各片区防汛责任人迅速组织危险区居民转移,期间,一些居民收拾钱物,防汛责任人员强行将其转移;一些居民朝转移路线相反的方向转移,在防汛责任人员的纠正下按正确路线向安置点转移;MR模拟应急转移过程中出现的问题,突出当地防汛人员的职责。

山洪暴发:随着水位继续上涨,山洪灾害暴发。由于人员及时得到转移,没有造成人员伤亡情况,但是一些居民房屋、道路、桥梁、堤防等基础设施被山洪冲毁,MR对山洪的破坏力和造成的灾情进行模拟;洪水退后,当地政府组织居民开展抢险救灾、思想安抚等工作。

3.4. 交互方式

长期以来,人们使用身体的运动与现实世界进行交互,在此过程中逐渐形成了交互信息方式——手势交互 [11] 。随着科技的发展,手势交互开始替代键盘、鼠标等传统交互方式,广泛应用于交互情景中,包括点击、操作虚拟物体以及与大屏幕的互动等,这种交互方式与MR技术十分契合。

山洪灾害防治MR系统以村庄、水域、水利工程为基础中心划分为三个区域,并且三个区域都可以点击,点击其中的某个区域将会出现对应的三维场景界面,界面有返回按钮、语音播放按钮、灾害三维动图播放按钮、防范自救知识按钮;该界面实现语音介绍洪水冲击沿河村落建筑物被破坏倒塌后的灾害介绍和注意事项。交互操作的总体设计如图3所示,MR演示效果如图4所示。

Figure 3. Interaction flow chart

图3. 交互方式流程图

Figure 4. Interaction effect diagram

图4. 交互操作示意图

通过手势点击三维模型,通过不同类型的模型,会显示不同区域的特效或灾难详细信息,包括雨量和水位变化,水位流势、流向、影响水位变化等其他因素。

4. 展望

目前MR的制作成本还较高,应用较局限,但引入新技术是整个科技发展中未来发展的趋势,不会仅仅停滞在理论阶段,随着科学技术的发展,MR技术涉及面会更广泛,应用门槛更低,制作成本也会下降。MR技术在山洪灾害防治中的应用现处于探索阶段,开展“山洪灾害防治 + MR技术”在小流域山洪灾害防治中的应用建设,将会进一步发挥信息化技术对山洪灾害业务管理水平的提升,提高防洪减灾效益。

文章引用:
杨培生, 周美玲, 付佳伟. MR技术在小流域山洪灾害防治中的应用研究[J]. 水资源研究, 2018, 7(6): 610-616. https://doi.org/10.12677/JWRR.2018.76069

参考文献

[1] 魏三强, 王兵. AR技术在非物质文化遗产及文化旅游业中的应用[J]. 江汉大学学报, 2016, 44(4): 364-368. WEI Sanqiang, WANG Bing. Application of AR technology in intangible cultural heritage and cultural tourism. Journal of Jianghan University, 2016, 44(4): 364-368. (in Chinese)
[2] 胡佩雯. VR、AR将带我们进入虚拟现实世界[J]. 中国电信业, 2017: 18. HU Peiwen. VR and AR will take us into the virtual reality world. Chinese Telecom industry, 2017: 18. (in Chinese)
[3] 喻晓和. 虚拟现实技术基础教程[M]. 北京: 清华大学出版社, 2015. YU Xiaohe. Basic course of virtual reality technology. Beijing: Press of Tsinghua University, 2015. (in Chinese)
[4] 王涌天, 陈靖, 程德文. 增强现实技术导论[M]. 北京: 科学出版社, 2015. WANG Yongtian, CHEN Jing and CHENG Dewen. Introduction to augmented reality technology. Beijing: Science Press, 2015. (in Chinese)
[5] 王同聚. 虚拟和增强现实(VR/AR)技术在教学中的应用与前景展望[J]. 数字教育, 2017: 3. WANG Tongju. Application and prospect of virtual and augmented reality technology in Teaching. Digital Education, 2017: 3. (in Chinese)
[6] 陈宝权, 秦学英. 混合现实中的虚实融合与人机智能交互[J]. 中国科学: 信息科学, 2016, 67(12): 1737-1747. CHEN Baoquan, QIN Xueyin. Virtual reality fusion and human-machine interaction in mixed reality. Chinese Science: Information Science, 2016, 67(12): 1737-1747. (in Chinese)
[7] 孙略. VR、AR与电影[J]. 北京电影学院学报, 2016, 52(3): 13-21. SUN Lve. VR, AR and movies. Journal of Beijing Film Academy, 2016, 52(3): 13-21. (in Chinese)
[8] 余日季, 蔡敏, 蒋帅. 基于移动终端和AR技术的博物馆文化教育体验系统的设计与应用研究[J]. 中国电化教育, 2017. YU Riji, CAI Min and JIANG Shuai. Design and application of museum culture education experience system based on mobile terminal and AR technology. China Educational Technology, 2017. (in Chinese)
[9] 刘建明, 施明泰. 增强现实、虚拟现实和混合现实技术在电力系统的应用研究[J]. 电力信息与通信技术, 2017: 4. LIU Jianming, SHI Mingtai. Applied research of augmented reality, virtual reality and mixed reality technology in power system. Power Information and Communication Technology, 2017: 4. (in Chinese)
[10] 江西省山洪灾害防治项目组. 江西省山洪灾害防治项目实施方案(2013~2015年) [R]. 江西省水利科学研究院, 2014. Jiangxi Province Mountain Flood Disaster Prevention and Control Project Group. Jiangxi Province mountain flood disaster prevention and control project implementation plan (2013-2015). Jiangxi Provincial Institute of Water Conservancy, 2014. (in Chinese)
[11] 尹超, 何人可. 符号学在VR手势交互设计中的应用研究[J]. 包装工程, 2013: 22. YIN Chao, HE Renke. Application of semiotics in VR gesture interaction design. Packaging Engineering, 2013: 22. (in Chinese)