基于裸眼3D技术的眼科多媒体库的设计与开发
Design and Development of Ophthalmic Multimedia Library Based on Naked Eye 3D Technology
DOI: 10.12677/ces.2025.1312964, PDF, HTML, XML,    科研立项经费支持
作者: 李 盈, 钟文倩, 雷 堉, 王 盼, 王 燕*:深圳大学附属华南医院眼科,广东 深圳;刁荣杰, 杨 浩:立体视医学技术(深圳)有限公司研发部,广东 深圳
关键词: 裸眼3D技术眼科学多媒体库教学改革眼科图库眼科疾病Naked Eye 3D Technology Ophthalmology Multimedia Library Teaching Reform Ophthalmic Atlas Ophthalmic Diseases
摘要: 《眼科学》是研究人类视觉器官疾病的发生、发展及其防治的专门学科,是医学院校本科学生的必修课程之一。传统眼科学相关知识教学方法主要以课堂讲授、静态图片、2D视频为基础,难以全面学习眼球立体解剖和疾病层次特征,存在教学与临床实践脱节的情况。近年来3D技术快速发展,但存在穿戴设备束缚、长时间使用眩晕感、多倍变焦导致分辨率降低、中心视野成像而周边视野剥夺、价格昂贵等较多的限制条件而难以推广使用。本文通过眼科图库收集、3D主要技术应用、3D显示技术与识别技术、教学与评价四个部分建立裸眼3D眼科APP多媒体库,使眼球这一结构复杂的视觉器官展示出三维空间纵深感,清晰化显示眼科疾病的特征,基于外贴3D光学膜适配市面上主流的手机机型与平板电脑,让老师和学生可以在不更换现有设备的情况下开展裸眼3D《眼科学》教学,能够为学生提供更为直观的教学过程。
Abstract: Ophthalmology is a specialized subject that studies the occurrence, development, prevention and treatment of human visual organ diseases. It is one of the required courses for undergraduate students in medical colleges. The teaching methods of traditional ophthalmology related knowledge are mainly based on classroom teaching, static pictures and 2D videos, which are difficult for students to learn the stereoscopic anatomies of the eye and the hierarchical characteristics of the diseases comprehensively. Meanwhile, teaching and clinical practice are separated. In recent years, 3D technology has developed rapidly, but it is difficult to promote due to many restrictions, such as the shackles of wearable devices, the dizziness of long-time use, the reduction of resolution ratio caused by multiple zoom, the central visual field imaging and the peripheral visual field deprivation, and the high price. In this paper, the naked eye 3D ophthalmic app multimedia library is established through four parts: ophthalmic image collection, 3D main technology application, 3D display technology and recognition technology, teaching and evaluation, to help the eyeball, a visual organ with complex structures, shows the three-dimensional spatial depth and the characteristics of ophthalmic diseases. Based on the application of 3D optical film adapted to the mainstream mobile phone models and tablet computers in the market, teachers and students can carry out naked eye 3D ophthalmology teaching without replacing existing equipment, and can also provide a more intuitive teaching process for students.
文章引用:李盈, 钟文倩, 雷堉, 王盼, 刁荣杰, 杨浩, 王燕. 基于裸眼3D技术的眼科多媒体库的设计与开发[J]. 创新教育研究, 2025, 13(12): 317-323. https://doi.org/10.12677/ces.2025.1312964

1. 背景概述

《眼科学》是研究人类视觉器官疾病的发生、发展及其防治的专门学科,是医学院校本科学生的必修课程之一[1],侧重于分析检查眼球的结构、发现眼部特异性疾病、根据解剖结构及时诊断与治疗[2]。然而,由于眼球解剖复杂、眼部手术精细,且医学院校本科期间分配给眼科的课时较少,导致《眼科学》的学习对于大部分本科生困难重重[3]。因此,如何建立一种能加强学生对眼科常见疾病的理解与认识、建立牢固的解剖大体知识网络的分析系统,是眼科教学的重点,也是难点[4]。传统眼科学以课堂讲授、静态图片和2D视频为基础,无法直观地呈现具有空间位置关系的眼球立体解剖结构和疾病层次特征信息。而在实际临床工作中,医生需要借助裂隙灯、视网膜镜等仪器设备,放大患者眼部细节并调节镜头与眼球各结构的距离,对焦清晰,观察不同层次结构和病变特点,才能达到对疾病的明确识别。由此可见,传统教学方法难以全面学习和精准掌握眼球解剖和疾病特征,存在与临床实践脱节的现状。与传统2D视频教学相比,3D显示技术在教学方面有很大的发展前景,教学内容能被生动地呈现,从而提高学生的注意力以及学习效率[5]。3D显示技术已广泛应用于医学相关专业领域,尤其是外科手术。一项针对外科住院医师的研究项目发现,接受过3D显示技术培训的操作者比应用传统技术的操作者执行手术的速度快29% [6]

近年来3D技术飞速发展,在实际应用中存在穿戴设备的束缚、长时间使用眩晕感、多倍变焦导致分辨率降低、中心视野成像而周边视野剥夺、价格昂贵等条件的限制而难以推广使用。相比之下裸眼3D技术更具有优势,其原理是将显示设备上具有视差的两幅画面分别送入观看者对应的左眼和右眼,通过调节被观察物体在使用者左右眼中的不同位置,在其脑海中形成立体感。将裸眼3D技术与医疗外科显微技术充分融合,极大提高了手术的精确性,同步提升手术的效率[7]。本文旨在研究建立裸眼3D眼科多媒体库,包括眼科图库收集、3D主要技术应用、3D显示技术与识别技术、教学与评价四大板块。外贴3D光学膜适配市面上主流的手机机型和平板电脑,让师生可以在不更换现有设备的情况下开展裸眼3D《眼科学》教学。此外,通过考核与评价反馈机制,可达到良好的串联闭合分析升级,从而发挥裸眼3D技术在眼科多媒体库中的优势,更好地应用于临床教学。

2. 裸眼3D眼前节疾病教学分析系统

2.1. 眼科图库收集

根据眼球结构的特殊性和裸眼3D技术的显示优势,选择眼睑相关内容、眼前节相关内容、眼科检查法三部分作为多媒体库建设的主要内容。眼睑和眼前节结构位于眼前部,与眼后段结构相比,结构更立体,更易获取图像与视频。具体过程为:先使用眼科数码裂隙灯获得高清的图像与视频,通过2D转3D技术后纳入多媒体库。眼科检查方法可以直接采用3D摄录系统进行拍摄,带棱镜3D外挂摄像头与手机摄像头连接后进行拍摄(见图1(A)),剪辑配音后纳入多媒体库。

完善多媒体库内容后,再使用3D光学膜适配手机或平板电脑进行教学使用(见图1(B)),学生也可以课前预习和课后复习。如结膜疾病包括结膜的炎症、翼状胬肉、结膜结石等内容,眼科检查法包括视力检查、眼压检查、视野检查、眼部B超等,眼科操作包括冲洗结膜囊、睑板腺按摩等,还包括部分晶状体手术、结膜手术、角膜手术等操作3D视频,共计300余例。根据章节填加文字内容,制作成APP进行使用。以上内容均选自本科生教材国家卫生健康委员会“十三五”规划教材,全国高等学校教材《眼科学》第九版要求本科生重点掌握的内容。

Figure 1. (A) 3D external camera; (B) 3D optical film compatible tablet

1. (A) 3D外挂摄像头;(B) 3D光学膜适配平板

2.2. 3D主要技术应用

眼球区别于其他组织器官最大的特点就是其多层次与精密性,如角膜组织由外向内分为五层结构,每一层结构的精细变化都会提示疾病的发生发展。裸眼3D技术应用到眼科教学多媒体库中,首先需要切合眼球解剖特点、疾病特色的方向进行拍摄、图像与视频处理,以求达到各结构与病变精细放大清晰的效果,让师生在互动学习时达到优质的观看效果。

2.2.1. 裸眼3D拍摄与处理技术

多媒体库中眼科检查法与操作内容的3D图像与视频的获取,主要依赖于图1(A)中的外挂摄像头,其中的棱镜将手机摄像镜头分为第一和第二区域,通过获取同一拍摄情景下不同光路下的信息,结合三维显示,从而良好地呈现出裸眼3D效果。因外挂摄像头轻巧便携,与手机连接拆除简便,能随时满足教学所需不同场景下的检查与操作拍摄,这也为今后不断充实多媒体库的内容提供有力的硬件支持。

2.2.2. 2D转3D的图像处理技术

基于深度图的3D合成由于人具有视觉经验和视觉记忆,这些因素构成了人眼的心理立体视觉。当人眼在观看一幅平面彩色立体图片的时候,可以根据图片上的内容判断其中物体、人物之间的距离关系,而这种判断通常十分准确,这说明平面图像中尽管不存在能用人的双眼视差异等生理立体视觉识别的深度信息,却存在着其它的深度暗示,如运动视差、聚焦/散焦、线性透视、大气散射、阴影、遮挡、相对高度以及相对大小等,这些暗示信息是人类对自然景物长期观察而得到的一种立体视觉记忆和立体视觉经验,依靠这种视觉记忆和经验,观察者能够从平面图像中准确地提取出物体间的相对位置和相对深度,人眼的这种立体视觉被称为心理立体视觉。根据人眼的这种特性,可以将平面图像中的深度信息提取出来,再结合原始左视图合成出右视图,这样,合成出的右视图与原来的左视图存在视差,将两幅视图合成后通过3D显示设备即可得到具有3D效果的立体图。

临床医生在实际工作中,眼睑疾病与眼前节疾病需要裂隙灯下放大后,前进或后退对焦到不同结构层次来显示疾病特征,常规的相机与手机拍摄无法做到裂隙条状光源下,呈现眼球层次结构的图像。课题组先借助眼科数码裂隙灯(型号:意大利CSOSL 990N,尼德克SL1800),完成2D格式下的弥散光源、裂隙光源初始图像和动态视频拍摄后,再借助3D图像处理技术进行转换。主要采取两个光路,即第一光路和第二光路进行,以使光路具有视差,对第一视差图像进行处理转换得到第三视差图像,将第三视差图像处理成3D格式下的第一帧画面图像,将第二视差图像处理成3D格式下的第二帧画面图像,将第一、第二两帧画面图像进行融合处理,形成3D格式下的3D帧画面图像,从而实现将2D的初始图像处理成3D显示的图像。此外,该技术可合理降低或消除左右眼视图的串扰,利用像素还原度将视觉串扰的影响程度进行具像量化的数据分级处理,提高3D立体画质的明亮度与清晰度。

2.3. 3D显示与识别技术

2.3.1. 裸眼3D光学膜

现有3D技术的显示载体趋于多元化,包括配戴红蓝眼镜、偏光眼镜、快门眼镜、AR眼镜、VR眼镜等,虽然有些3D眼镜价格便宜,但仍需在固定角度、固定场景应用,且受到穿戴设备的束缚,图像显示出现过暗、画质清晰度降低等情况,此外,显示设备过大也可导致教学使用受限。

依托裸眼3D显示技术的3D光学膜,包括钢化基膜、3D结构层(高分子液晶层–金字塔非球形微结构–偏振膜层)、散热层(防窥结构层)与防爆覆膜层。总厚度约0.58 mm,可外贴或内贴应用于现有手机、平板与电脑屏幕上,结合3D APP即可感受3D全场景真实互动教学体验。同时增加特殊防窥功能,保护学生学习隐私。具备横竖屏切换和自动校准功能,可以在不更换现有设备的情况下随时随地进行学习。外贴方案2D的透光率大于88%,内贴方案透光率94%,多层复合材粒平均折射率1.5,能很好的解决画质过暗的难题。

若需满足多人同时学习需求,可采用覆盖有电子3D光学膜的大尺寸智能终端的显示屏,其智能终端通信连接到电子3D光学膜。智能终端按照预设好的长度初始排布显示在设备上,显示屏前至少拥有一组人眼的空间位置信息,通过计算出有效视区宽度,得到电子3D光学膜的目标光栅常数,不断调整该常数至目标光栅常数,实现多人同时学习观看,且互不影响,可更好地应用于教学,并实现大规模的分组学习实践。

2.3.2. 眼球追踪技术

眼球追踪技术主要表现在独特的测距方法、控制方法装置于电子设备中如手机前置摄像头内,可以应用于手机终端,对学生脸部图像进行瞳孔识别,实现20 cm~135 cm内眼球跟踪等功能。确定其第一瞳孔位置信息和第二瞳孔位置信息,计算得到画面瞳孔间距,从而得到学生眼睛到显示屏幕的观看距离,其优势在于测距成本低、操作简便,无需额外设置其他传感器。用于特异性地监测学生的最佳3D学习距离,并做出过远或过近的提示与说明,能辅助反馈学生学习专注度与时长。

2.4. 教学与评价

2.4.1. 教学互动学习模块

将眼科多媒体库通过裸眼3D显示移动终端设备进行投射后,即可投入应用。其应用主要包括教师教学部分及学生练习部分。

教师教学模块:裸眼3D技术有别于目前普遍的3D技术视图和传统的2D平面视图,教师以裸眼3D技术为依托,利用多媒体库中清晰的3D图片及典型、真实的病例给学生进行授课,并可通过不断丰富其他眼科疾病的相关病例库,建立庞大的眼科教学体系,进而分系统、分层次地对不同类别、水平的学生进行理论指导,从而改变传统的教学理念与教学方式,发挥教师的指导作用,而不仅仅是传统意义上的书本教学。

学生互动学习模块:裸眼3D技术通过观看特定的3D图形图像,眼睛交替看远看近,眼球随着影像反复调整对焦,能够增加眼睛前后、远近、左右适应调节,提升视觉神经效能。此外,裸眼3D技术通过刺激视觉神经、激活视觉信号通路、改善大脑神经系统的信号加工处理能力,从而提升学生的认知能力及记忆力。观看裸眼3D视频时通过注视性眼球运动,还能提高眼睛处理高空间频率的细节辨认能力,有效训练学生的眼前庭反射系统、眼平稳跟随系统、扫视运动系统、视动运动系统、眼融合系统,提升视锐度,锻炼大脑功能。通过提升视知觉能力,刺激大脑功能区,提升对信息的获取分析能力,从而提升脑知觉协同能力,益智护脑,改善阅读障碍,全面提升学习能力。学生可通过眼科多媒体库,全方位学习眼球的立体解剖结构,并解决课中疾病讲授缺乏立体性与实践性,以及课前预习、课中学习、课后复习难等诸多问题。提升学生的学习兴趣与自主性,提高学习效率。

2.4.2. 评价反馈模块

Figure 2. Establishment and application of 3D multimedia library for ophthalmology

2. 眼科3D多媒体库的建立与应用

及时更正教学过程中所出现的问题,更新教学模式以及内容。分为学生评价及教师评价两部分。

学生问卷形式评价:对学生在教学过程中的收获包括学习效率、学习兴趣、学习难度、自主学习能力、思考问题的能力、检索知识的能力以及其他基本素质的培养等,分为十个问题进行问卷调查并统计分析,通过收集问卷,将结果进行整理归纳。

教师评价:教师在教学过程中的使用感受,包括模型精确性、美观性、清晰度、立体感等,及疾病覆盖种类、多媒体库使用习惯等一系列问题进行汇总。见图2

3. 总结与展望

裸眼3D技术模拟真实物体运动时对人眼的刺激,避免了佩戴3D眼镜所带来的眩晕感和视角受限等,并且可以降低光线变化而导致的视疲劳。实现可裸眼观看3D医学结构的显示效果,缩减医疗成本,医学裸眼3D能够在临床诊疗及远程医学会诊等领域中发挥重要作用[8],具有良好的发展前景。裸眼3D技术目前在其他国家已用于多种眼科疾病的诊断与治疗,在一项前瞻性观察、单中心、连续病例系列研究中,裸眼3D系统通过改善浅前房患者有限狭窄手术空间的可视化,有助于减少术后角膜水肿,提高白内障术后第一天患者和外科医生的满意度[9],更有利于临床医生判断患者病情并制定诊疗方案。裸眼3D技术由于具有更好的立体感,可缩短初学者的学习曲线。应用裸眼3D技术进行教学,对刚从抽象的书本知识向具体的临床工作转变的临床本科学生而言,显得更加具体、真实[10]。本文着重研究裸眼3D眼科教学多媒体库建立,将有望在本科生教学中体现出其优势,是值得更进一步发展及探讨的教学手段。目前的裸眼3D临床收集库模块的教学资源有限,仅覆盖了眼睑、眼前节与眼科检查和操作等部分。随着多媒体库内容的不断充实与完善、3D浏览器与互联网站的建立,将进一步形成学生个人专属账号,时时跟踪记录学生学习进度及掌握情况,打通学校、教师及学生之间的联系,还可根据个人学习能力分类量身定制学习内容,基于临床评估与评分,有针对性、侧重性地进行学习与练习,优化加强记忆,提高学习效果及学习能力。但本文由于时间有限,学生实习周数略少缺乏更权威的问卷回访未能实现该媒体库的教学对照,本文旨在构建一种基于裸眼3D的眼科的多媒体库的设计与开发,将在后续的研究中进一步展示该媒体库的应用效果,力争实现继续教育四新性,并有望广泛应用于除眼科外诸多教学领域,或成为相关教学典范。

作者贡献声明

李盈,钟文倩:提出论文构思,撰写论文;雷堉,王盼:参与文献收集,视频录制;刁荣杰,杨浩:提供技术指导与支持;王燕:总体把关,审阅论文。

基金项目

深圳大学教学改革研究项目“裸眼3D技术在眼科多媒体库建设中的研究与应用”(JG2022168)。

利益冲突

所有作者均声明不存在利益冲突。

NOTES

*通讯作者。

参考文献

[1] 马华锋, 郭玉楠, 周希瑗. 七年制研究生阶段医学专业教学的探讨——以眼科专业为例[J]. 管理观察, 2014(8): 100-101, 104.
[2] Roesch, K., Swedish, T. and Raskar, R. (2017) Automated Retinal Imaging and Trend Analysis—A Tool for Health Monitoring. Clinical Ophthalmology, 11, 1015-1020. [Google Scholar] [CrossRef] [PubMed]
[3] 李养军, 严宏, 朱宝义. 眼科临床教学实践与探索[J]. 医学教育探索, 2007(11): 1038-1039, 1063.
[4] 崔洪雨, 刘丹, 曲巍, 等. PBL教学模式在眼科学教学中的实践[J]. 国际眼科杂志, 2014, 14(7): 1303-1306.
[5] 宋晓燕, 金佳斌, 黄火梅, 等. 裸眼3D显示技术的应用探讨[J]. 科技创新与应用, 2021, 11(28): 25-27.
[6] Seymour, N.E., Gallagher, A.G., Roman, S.A., O’Brien, M.K., Bansal, V.K., Andersen, D.K., et al. (2002) Virtual Reality Training Improves Operating Room Performance: Results of a Randomized, Double-Blinded Study. Annals of Surgery, 236, 458-464. [Google Scholar] [CrossRef] [PubMed]
[7] 尤文圣, 农旭安, 陈佳梦. 浅析裸眼3D技术与应用[J]. 科学与信息化, 2021(17): 19.
[8] Liao, H. (2014) Integrated Diagnostic and Therapeutic Techniques: Toward an Intelligent Medical System. Computerized Medical Imaging and Graphics, 38, 421-422. [Google Scholar] [CrossRef] [PubMed]
[9] Sandali, O., El Sanharawi, M., Tahiri Joutei Hassani, R., Roux, H., Bouheraoua, N. and Borderie, V. (2021) Early Corneal Pachymetry Maps after Cataract Surgery and Influence of 3D Digital Visualization System in Minimizing Corneal Oedema. Acta Ophthalmologica, 100, e1088-e1094. [Google Scholar] [CrossRef] [PubMed]
[10] 李树本, 何建行, 陈汉章, 等. 胸外科临床见习带教之我见[J]. 山西医科大学学报(基础医学教育版), 2006, 8(2): 180-183.