1. 引言
科技信息的不断发展,加快了我国电子信息行业发展速度,电子信息类专业集通信、电子、信息技术于一体,在现代信息产业中占据着重要的地位,电子信息产业是时代发展的结晶,同时也推动着时代的进步,在自身获得发展的同时,也为社会中的其他产业提供发展契机,有效地推动了社会其他产业的融合,在社会经济发展中有着至关重要的作用[1]-[3]。因此,对于电子信息类高素质人才的培养提出了更高的要求,教学方式的革新与教学方法的改进也应与时俱进,传统单一的授课方式已无法满足学生的学习需求和行业发展趋势[4]-[6]。本文将电子信息类专业教学发展中的现实问题作为研究重点,以当前科技热点案例为教学内容载体,教学过程中引入了典型信息企业的真实需求作为项目背景,将专业知识传授与创新能力培养深度融合,提出“专创融合”的人才培养方案,教学中采用BOPPPS教学模式,发挥学生主观能动性,激发学习热情和开拓创新意识,通过几轮教学过程改革实践,取得了良好的育人效果,学生就业率达到90%以上,并得到用人单位好评。本文将以OpenCV教学实践过程中的改革实施办法与开展过程为例,详细阐明专业知识与手语应用案例相结合,实现学生专业知识与创新能力共同养成。
2. 线上线下课程导入
2.1. 案例引入
课前通过课程平台下发课程预习资料,通过视频与案例了解本节所学内容OpenCV的作用及意义,并指出其能够在目前热门领域手语识别中实现的重要作用。手势识别,作为人机交互技术的一个重要分支,近年来受到了广泛的关注与研究,人们渴望通过更加自然、直观的方式来与机器进行交互。尤其是在多媒体上的应用。人们连续的手势动作构成手语,是聋哑人与外界沟通的重要语言之一[7]。听力障碍者通过手语与人进行交流,但是通过调查全国手语普及率仅有1%,对于聋哑人的日常生活造成很大困扰,因此,怎么实现聋哑人与外界正常交流甚至是有效沟通,是当下急于解决的问题。通过如上的课程预习使学生对课程内容充满期待并保持良好的创新求知欲望[8]。
2.2. 明晰学习目标
手语识别具有极其重要的意义,它能够为聋哑人提供与他人进行无障碍交流的途径。教学过程着重聚焦于OpenCV在手语识别中的应用,深入研究了手势识别技术,充分利用OpenCV在图像处理以及计算机视觉方面所具有的优势,对手部进行检测,提取特征,并进行姿态识别[9] [10]。首先,通过图像预处理技术中的二值化和肤色检测,提取出手语图像的轮廓。然后,应用两种不同的傅里叶描述子对手语图像的特征进行提取和分析。随后,利用KNN和SVM对提取的特征进行分类识别。实验证明,这一算法在各种光照和复杂背景下都表现出良好的识别效果,为手语识别技术的进步提供了新的思路和方法。研究结果清楚地表明,OpenCV能够为手语识别系统提供坚实的技术支撑,这具有不可忽视的意义,不仅可以提升聋哑人的生活质量,还能促进他们更好地融入社会。通过课程学习,使学生深入理解OpenCV的现实作用,并结合手语识别案例明确创新应用过程,有利于培养学生解决实际问题的专业创新能力形成。
3. 线上线下同步教学实施
教学过程中,教师发挥引导作用,分阶段分层次地进行重点难点解析,学生根据实际情况进行分组学习讨论,完成专业知识点研讨与实践案例方案给出,发挥学生主观能动性,培养团队意识和创新精神。
3.1. OpenCV原理分析
通过线上线下学习资源,引导学生分组讨论总结出专业知识要点。OpenCV (Open Source Computer Vision Library)是一个自由开源的计算机视觉库,具备丰富的图像和视频处理功能,可实现图像和视频的采集、保存、处理、分析和展示等功能[4]。OpenCV是由英特尔公司发起并参与开发的,它具有跨平台、高效、灵活等特点,被广泛应用于计算机视觉、机器学习、图像处理、目标检测、人脸识别、动作识别等领域。
OpenCV的主要功能包括了对图像和视频的获取与输入、基础的图像操作、图像和视频的变化、图像和视频的解析、特性的提炼、目标的侦测以及追踪等。此外,其还给予了众多机器学习算法以及深度学习框架的接口。可以方便地与其他机器学习库和深度学习框架集成。
作为一款跨多个设备和系统的强大工具,OpenCV在包括Windows、MacOS、Linux、Android和iOS等多种环境下都能正常工作;并且它也兼容多种程序设计语句如C++、Python和Java等等。这使得OpenCV成为了计算机视觉领域中最受欢迎的库之一。其另一个优点是它的高效性。它使用了优化的算法和数据结构,能够在处理大量图像和视频数据时保持高效的性能。这使得OpenCV成为了许多实时应用程序的理想选择。
3.2. 相关技术分析
学习实践过程中还需用到相关技术手段与方法,引导学生以学习小组形式研讨学习,对相关技术要点进行归纳。Python因其简洁易懂、阅读便利和高度灵活而被广泛用于数据科学、游戏设计、科学运算等多个行业,但它也面临着一些问题如低效执行速度、缺乏安全性和不适宜构建大规模工程等问题。然而,由于这些优势的存在,使得Python依然具有极高的实用价值。Python的优点:(1) 学习起来简单易行,适合初级程序员;(2) 读取性强,维护方便;(3) 扩展能力强,支持各类编程模式和C/C++的扩展;(4) 库存充足,可满足多样化需求;(5) 跨平台运作能力强,可以在众多操作系统中运转。Python的缺点:(1) 其运行效率相对低下,相比较于C/C++而言,Python的执行速率较为缓慢;(2) 程序的安全保护程度不高,由于Python的源码能够轻易被解码;(3) 并不适合用于构建大规模的项目,因为它的模块划分及代码架构无法媲美JAVA等编程语言。
YCrCb被定义为一种颜色领域,通常也被称作YUV,它专门用于传递彩色影像数据以确保其能适应旧式的黑白显示设备。相较于人类视网膜对于颜色的感知能力,我们对其明暗程度的反应更为敏锐。然而,在传统的RGB色彩模型里,虽然三个基本颜色都同等重要,但它们却没有包含任何关于亮度的信息。然而,在YCrCb色彩空间中,Y代表光源亮度,色彩信息保存在Cr和Cb中,其中,Cr表示红色分量信息,Cb表示蓝色分量信息。
傅里叶描述子(Fourier Shape Descriptors)的核心概念是基于傅里叶变换的,它利用目标边缘曲线上的傅里叶变换以表达目标区间的形态特性[6],并有效地把2D形状描绘的问题转化为更简单1D形式。这种描述子能保持稳定的旋转、移动和平移不变性,使其能在不受基础变换影响下准确地反映出物体的形状。此外,傅里叶描述子对形状变化有着高度的敏感性,能够精确地捕捉并描述物体的轮廓特征,为形状分析提供了有力的工具。同时,傅里叶描述子也具有一定的抗干扰能力,能在一定程度上容忍噪声和图像变形。而且,它的计算相对简单,计算效率较高,这使其适合应用在对实时性有要求的场合。在实际应用中,傅里叶描述子的作用十分突出。它常常被用于图像识别、目标检测以及形状匹配等领域。通过对物体轮廓的傅里叶描述子进行分析和对比,就可以实现对不同物体的分类和识别,从而为各种相关工作提供有力支持。
3.3. 算法流程设计
鼓励学生自主思考,展开小组协作讨论完成算法流程设计。算法的主要任务是实现在线的手语分类和即时辨识。为了达到这个目标,整合了OpenCV库里的相关技术,目的是精准地检测出视频序列上的手指的位置,从而对手势实施动态识别。首先,利用OpenCV库提供的工具,在初期已经能够准确地找到并跟踪到视频序列或图片上手指的具体坐标。这涵盖肤色检测、轮廓提取或者手势检测等技术,以精准确定手语手势的位置。接着,利用了KNN和SVM深度学习模式来对手语手势进行分类处理。通过大量的训练数据,这些模型已经能精确地把各类别的手语手势辨识出来。当进入到实时的识别环节时,从视频流中抓取出的手语手势会被传递给KNN和SVM进行模型对比,它们会启动其推断功能并把手势归类至对应的种类。通过这种方式,系统实现了对手语的实时识别,并能够将识别结果转化为文本或其他形式的输出,从而提供了高效的手语识别解决方案。
4. 学习测试效果与分析
通过各个学习小组完成学习任务情况,进行学习效果评测打分,并进一步根据各组设计的手语识别系统进行全过程考评测试。
4.1. 数据增强
Figure 1. Part of the expanded student study results
图1. 扩充后的部分学生学习结果
数据增强:通过对原始数据进行随机变换、旋转、缩放等操作,可以增加数据的多样性,提高模型的泛化能力。在实时手势识别中,通过对原始手势图像进行旋转和翻转,可以模拟不同的手势姿态,从而丰富训练数据集。这有助于模型学习不同角度和方向下的手势特征,提高手势识别的准确性和泛化能力。旋转和翻转操作在实时手势识别中起到了预处理和数据增强的作用,有助于提高模型的性能和鲁棒性。算法中实现了图像数据扩增,通过旋转和翻转操作生成更多的图像样本,以增加数据集的多样性和数量,使得训练的模型可以更加拟合结果。学生分组学习进行数据增强后的部分成果见图1。
4.2. GUI的实现
学习效果测评成绩以各小组设计展示的系统界面与实际测试效果为主。GUI界面出现后,点击“打开相机”,调取摄像头。可以看到摄像头打开,并展示在GUI界面的原图中,同时,手部轮廓图也可实时检测更新,并展示在GUI界面的轮廓线图中。学生展示的学习效果详见图2。
Figure 2. Example of learning group detection system
图2. 学习小组展示系统举例
通过整个学习过程,使学生对于所学内容有了系统深刻的认识,达到了良好的教学效果。课程结束后,学生达成了对专业知识的统一认知:在图像处理的初步阶段,OpenCV使用多个函数和接口实时从设备例如摄像头中获取手势图像数据,然后,该软件将执行数种图像预处理步骤,这些步骤包括将图像转化为灰度格式,对图像进行旋转、偏移和翻转操作,这些预处理技术是为了更好地进行后续的图像识别和分析工作。OpenCV搭载了多种图像处理工具,非常适合用于提取特征,在这个系统里,通过运用拉普拉斯算子边缘检测方法,可以精确地检测并提取手势的边缘信息,这对接下来的图像分析工作至关重要,此外,OpenCV也提供了皮肤检测和图像的二值化处理功能,这些功能有助于将手势从其所处的复杂环境中有效地分离出来,进一步提高了特征提取的准确性。OpenCV在使用傅里叶算法进行图像处理时显得尤为重要,尤其是在图像变换方面,它提供了快速傅里叶变换的功能,这使得图像能够从空间域转换到频率域,这种转换使我们可以更加有效地识别和分析与手势相关的频率特性。此外,在实时识别过程中,OpenCV在实时手势检测领域展现了优秀的性能,尤其是在追踪手势的移动轨迹和变动上,它通过对连续的图像帧进行分析,成功地捕获手势的运动特征,当应用于人机接口时,OpenCV能够把检测到的手势信息可视化展现出来,比如在监视器上实时显示检测到的手势类型。
总的来说,OpenCV是实时识别系统中不可或缺的工具,它从图像的获取,预处理,到特征提取,实现算法,监视跟踪,以及结果的展示和交互,都为系统的高效运作提供了强有力的支持,利用OpenCV,在手势识别领域,系统能够实现更加精确和高效的操作,为用户提供了平滑可靠的体验,通过使用OpenCV,傅里叶变换的优势在特征提取和分析过程中得到了更好的运用,这推动了实时手势识别技术的发展和应用,OpenCV将继续为手语识别技术的发展提供强大的技术支持,帮助聋哑人士,并为计算机视觉领域的持续进步做出重要贡献。以热点案例为载体的教学改革尝试实现了学生所学知识能够学以致用的预期教学目标。
基金项目
黑龙江省高等教育学会2023年高等教育研究课题(23GJYBB207);2025年度黑龙江省教育科学规划课题研究成果(GJB1425054);黑龙江省省属高等学校基本科研业务费科研项目(145409402);2024年齐齐哈尔大学教育教学改革研究项目(GJYJYB202401);黑龙江省高等教育教学改革研究项目(SJGZB2024187)。