1. 引言
随着我国高速公路网络的不断延伸,部分路段穿越了西藏自然保护区或野生动物迁徙走廊。这些高速路段车流量相对较少,车速普遍较快,一旦有中大型动物(如藏羚羊,牦牛等)突然闯入,极易引发严重的交通事故[1],对人民生命财产安全和生态环境造成威胁。并且西藏地处青藏高原,平均海拔超过4000米,地形复杂,气候多变,地质灾害频发,道路建设与维护难度极大[2],这些自然条件对交通事故的救援和救治提出了严峻挑战[3]。传统的解决方案(如物理隔离栏)往往成本高昂且可能影响生态连通性[4],而人工巡逻效率低下且覆盖范围有限。
近年来,红外成像技术与视觉识别技术的不断成熟和在相关领域的应用为这一问题提供了新的解决思路[5]。IR CUT红外摄像头不受昼夜光照条件影响,无论在白天还是黑夜都能够为视觉识别提供较为清晰的图像[6]。同时,以YOLO(You Only Look Once)为代表的单阶段目标检测算法[7],通过将目标检测问题简化为一个回归问题,从而大幅提高了检测速度[8] [9],同时具备准确率高、适用范围广等优势[10],适用在公共道路旁对运动野生动物目标进行监测[11]。
本研究旨在融合红外成像技术与边缘计算,构建一个集感知、处理与分析于一体的自动化统计系统,利用该系统可实现迁徙动物数据统计,进而帮助操作人员对过往行驶车辆提供预警。本项目核心创新点在于:
(1) 选用‘立创·庐山派K230’作为边缘计算节点,平衡了算力与功耗,满足实验阶段低成本高效率部署需求。
(2) 采用‘YOLOv8’算法,针对红外图像特性进行模型优化,满足在任何时间实现高精度、实时的动物检测需求。
(3) 设计了一套从前端识别到后端数据分析的完整技术路线,为长期、大规模的动物活动规律研究及协助主动预警提供了可行方案。
2. 系统总体设计
本系统主要由两部分构成:“前端感知与边缘处理单元”和“后端数据分析与协助预警平台”。总体组成如图1所示。
Figure 1. Overall system diagram
图1. 系统总体示意图
2.1. 前端感知与边缘处理单元
感知模块:IR CUT红外成像摄像头。实物如图2所示。本系统综合考虑其分辨率、视场角和成本,采用了不可见红外线成像的摄像头,采用近红外原理不依靠物体本身的热源,安装有主动发射的红外光源,摄像头通过感知物体反射的红外反射波在红外探测器上形成灰度图像,并输出到显示设备[12],其通过内置滤光片实现日夜切换模式:白天阻挡红外线以还原可见光图像,夜间允许红外线进入传感器成像。IR镜头通过特殊光学玻璃材料与多层镀膜技术,实现了两种光波在同一焦面清晰成像,同时抑制逆光条件下的光晕现象。具体参数如表1所示。
Table 1. IR-CUT camera parameters
表1. IR CUT摄像头参数
感光芯片 |
光圈(F) |
视角 |
传感器像素 |
OV5647 |
1.8 |
75.7度 |
1080P |
Figure 2. IR-CUT camera
图2. IR CUT摄像头
边缘处理单元硬件核心:立创·庐山派K230开发板。实物如图3所示。在理论验证阶段该板卡具备足够的算力来流畅部署运行YOLOv8模型,同时接口丰富,功耗可控,为实验提供了极高的便利性与可靠性。
Figure 3. Lichuang·Lushanpai K230 resource annotation diagram
图3. 立创·庐山派K230资源标注图
核心任务:在本单元完成图像的采集、预处理和目标检测,仅将结构化的识别结果(而非原始视频流)上传,极大减轻了通信带宽压力。
Figure 4. Model accuracy comparison
图4. 模型精度对比
模型选择:采用YOLOv8模型。目前YOLOv8在智能安防与视频监控、自动驾驶、工业自动化、零售业等诸多领域均有应用[13],YOLO系列运动感知模型有着识别野生动物的大量实践运用经验技术十分成熟可靠[14],同时YOLOv8通过改进的网络架构和训练策略,实现了在实时性要求较高的应用场景中的高效应用。它在速度和准确性之间取得了出色的平衡,适合需要快速检测的应用场景。并且对比前代模型如YOLOv5精度大幅提升,能够很好实现本系统的识别需求[15]。而使用高版本YOLO需要更高的计算量,会直接提高实验成本,同时YOLOv8对边缘设备部署的支持成熟,量化、剪枝等优化技术路径清晰。模型对比如图4所示。
2.2. 后端数据分析与预警平台
上位机:实验阶段以电脑作为上位机接收并处理所有前端单元上传的数据。
数据存储:将接收到的数据以“.log”文件或数据库形式进行存储,记录内容包括:“动物类别”、“动物数量”等,如图5,图6所示。
Figure 5. Example of file storage formats
图5. 文件存储格式示例
Figure 6. Example of recorded content
图6. 记录内容示例
监控分析:开发数据分析脚本和可视化界面,对实时回传的数据进行分析,降低前端误报影响,统计动物出没的具体数量和高发时段。
协助预警执行:根据分析结果,可通过控制可变信息警示牌(如LED屏)或通过导航APP向即将驶入该路段的驾驶员发布预警信息。
3. 系统实现与关键技术
3.1. 硬件选型与部署
核心处理器:立创·庐山派K230。其强大的NPU和CPU为YOLOv8的实时推理提供了硬件保障。
红外成像仪:经过充分考量,选用一款分辨率不低于640 × 480、帧频不低于25 Hz的红外摄像头,确保摄像头获得的画面较为清晰的同时保证满足实时性的需求。
3.2. 软件算法与数据处理流程
Figure 7. Infrared recognition monitoring system
图7. 红外识别监测系统
如图7所示为系统运作流程。
(1) 图像采集与预处理:红外摄像头持续采集视频流。K230捕获视频帧后,进行必要的预处理操作。
(2) 目标检测与推理:将预处理后的图像送入已训练好的YOLOv8模型[16]中进行推理。
(3) 结果后处理与本地显示:K230利用模型的输出结果,在原始图像或缩放后的图像上绘制出边界框和类别标签。
(4) 数据远程传输:生成的数据通过K230的串口,发送至上位机进行接收。
(5) 后端数据记录与分析:
① 保存为“.log”类型文件:上位机运行串口助手,接收数据并在指定文件夹中生成日志文件,每小时对应一个日志文件,保存一个月,循环滚动覆盖,实现数据的长期持久化存储。
② 监控分析:定期(如每日或每周)或实时运行数据分析统计软件,对日志文件进行解析。通过统计前端单元在不同时间段的动物检测数据,直观展示动物迁徙的数量和时段。
3.3. 模型训练
使用公开的红外动物数据集或自建数据集(通过本系统采集并人工标注)对YOLOv8模型进行训练和微调,重点关注中大型动物类别(如藏羚羊,牦牛等),以提升模型在特定场景下的识别准确率。
4. 实验结果与分析
4.1. 检测效果图
图8~11为不同条件下监测效果图。
Figure 8. Daytime image recognition results
图8. 日间图片识别效果图
Figure 9. Nighttime image recognition results
图9. 夜间图片识别效果图
Figure 10. Daytime camera recognition results (A, B)
图10. 日间摄像头识别图片效果图(A、B)
Figure 11. Nighttime camera recognition results
图11. 夜间摄像头识别图片效果图
4.2. 后端数据处理
Figure 12. Physical system diagram
图12. 系统实物图
Figure 13. Software for statistical analysis
图13. 统计分析数据软件
系统整体实物图如图12所示。上位机使用数据分析软件,用户可选择对数据保存文件夹进行监控并通过软件可视化UI和历史记录得知摄像头识别到的动物数目和具体时间节点。程序通过实时采集摄像机发送更新的监测数据进行判断输出,有效防止前端摄像机因为环境、硬件故障、模型识别精度等因素产生丢帧,数据丢失等故障而产生的数目判断异常的错误。如图13便是对图10中的图B检测得到的数据进行分析,最后得到此时画面中有4只野牦牛。
4.3. 识别精度
模型训练完成后,通过对给定测试集进行识别测试以评定模型效果,得到如图14~18所示数据。
Figure 14. F1-confidence curve
图14. F1-置信度曲线
Figure 15. Precision-confidence curve
图15. 精确率–置信度曲线
Figure 16. Precision-recall curve
图16. 精确率–召回率曲线
Figure 17. Normalized confusion matrix
图17. 归一化混淆矩阵
Figure 18. Training process metrics
图18. 训练过程指标
图14展示在不同置信度阈值下,模型F1分数(精确率和召回率的调和平均数)的变化,藏羚羊的F1曲线整体较高且平稳,说明模型对藏羚羊的检测性能较好且稳定,野牦牛的F1曲线相对较低,说明模型对野牦牛的检测性能不如藏羚羊。
图15展示在不同置信度阈值下,模型精确率(预测为正例中实际为正例的比例)的变化。所有类别的精确率在置信度为0.847时达到1.00,即在该阈值下没有误检(但召回率可能会降低)。藏羚羊的精确率曲线较高且平稳,说明模型对藏羚羊的预测非常准确。野牦牛的精确率曲线波动较大,在低置信度时精确率较低,说明模型对野牦牛的误检较多。
图16展示在不同阈值下,精确率和召回率(实际为正例中被预测为正例的比例)之间的权衡关系。藏羚羊的AP值为0.961,表现优秀。野牦牛的AP值为0.453,表现较差。所有类别的mAP@0.5 (mean Average Precision在衡量预测框与真实框重叠程度的指标阈值为0.5时的计算结果)为0.707,这是一个中等偏上的水平,但主要受野牦牛性能拖累。
图17以比例形式展示混淆矩阵,便于比较不同类别之间的错误率。野牦牛:54%被正确预测,46%被预测为背景(漏检)。藏羚羊:95%被正确预测,5%被误检为野牦牛。背景:100%被正确预测。
图18展示训练和验证过程中的损失和指标变化,判断模型是否收敛以及是否过拟合。训练损失(box_loss, cls_loss, dfl_loss)随着训练轮数增加而下降,说明模型在训练集上学习有效。验证损失也呈现下降趋势,说明模型没有严重过拟合。验证集上的mAP50和mAP50-95指标在训练过程中逐步上升,最后趋于平稳,表明模型收敛。
由图14~18可知,目前实验用模型对藏羚羊的检测性能非常好(AP = 0.961),精确率和召回率都很高,有95%的正确识别率。训练过程稳定,没有出现过拟合现象。但野牦牛的检测性能较差(AP = 0.453),仅有54%的正确识别率。如图19所示,会出现漏检、误检的情况,造成这种情况的主要原因有以下两点:
(1) 识别图像的分辨率较低,处于远处位置的野牦牛特征不明显,外形的可识别度大幅下降,导致被判断为背景。
(2) 实验采用的数据集中野牦牛的数据量不足导致模型识别能力较低。
后续可通过增加野牦牛的训练样本与迭代训练提升模型精度,应对分辨率低、特征不明显的问题可增加相应数据来强化模型。
Figure 19. Example of undetected Wild Yak recognition
图19. 野牦牛漏检识别图
4.4. 实时性
系统处理帧率稳定在15 fps,从图像采集到推理结果输出的延迟约为40 ms,基本满足实时响应动物目标要求。
5. 结论与展望
本文成功设计并实现了一套基于红外成像与YOLOv8的无人高速动物入侵预警系统。通过以立创K230为边缘计算核心,系统实现了前端智能处理,结合后端数据分析处理,构建了一个高效、可靠的数据采集与分析平台。结果表明实验模型评估中藏羚羊的AP为0.961,表现优秀。野牦牛的AP为0.453,表现较差。所有类别的mAP@0.5为0.707,藏羚羊,野牦牛的正确识别率分别为95%和54%,野牦牛表现出明显的误检、漏检问题,后续将增加野牦牛的训练样本与迭代训练提升模型识别效果。该系统初步证明能够有效地检测中大型动物,并为分析动物迁徙规律提供硬件系统搭建及数据支撑基础。
展望未来,工作可以从以下几个方面进一步深化:
1. 模型优化:采集更多样化的本地数据,持续优化模型,提升对遮挡、小目标动物的检测能力;
2. 改进数据传输模式:实现支持远距离数据传输,提高数据传输稳定性;
3. 低功耗设计:研究太阳能供电与休眠唤醒机制,使设备能在无电环境下长期工作;
4. 实时预警联动:与高速公路警示牌系统联动,根据动物出现位置自动触发分级预警,提醒驾驶员减速避让。
基金项目
大学生创新创业训练计划(202410066047)。
NOTES
*通讯作者。