1. 引言
传统食物识别方法依赖人工经验，存在效率低、主观性强及精度不足等问题。针对食品多样性带来的识别挑战，基于深度学习的目标检测技术通过端到端特征学习与实时推理能力，显著提升了自动化水平。为此，研究者们不断探索基于深度学习的食物识别解决方案，以提高识别效率与准确性。徐悦[1]提出了一种将中餐菜品图像识别分为菜品位置检测和菜品分类的高效、智能、轻量化算法，有效提升了中餐识别的准确性。顾烨婷[2]则改进了基于深度学习的菜品检测技术，设计并实现了相应的菜品检测系统来取代人工核算。深度学习技术显著推动了食物识别领域的突破，架构创新方面，周泳鑫[3]提出的SCG-WAFM方法集成语义中心损失与窗口注意力融合，在Food-101数据集上实现94.1%的mAP@0.5。算法优化方面，吴正东[4]融合多尺度特征及通道注意力，混合菜品识别F1值提升12.3%，有效应对食品形态多样性与复杂场景挑战。轻量化部署方面，王奔[5]设计层级卷积核压缩模型至6.8 M参量，在Jetson Xavier上达到58 FPS的实时检测，彭耿等人[6]改进主干网络使细粒度特征提取精度提高9.7%；陈雅丽[7]提出的可判别区域定位算法将稀有食材检测AP50提升至81.3%，结合MTA-OMO时间自适应机制，动态场景误检率降至4.1%。开源框架支持多模态数据增强(旋转/光照扰动 + 对抗样本)，数据集泛化性提升27.6%，为移动端健康管理及智能餐饮提供了高鲁棒性解决方案。深度学习尤其是YOLOv5模型的应用，革新了食物识别技术，不仅提升了识别的自动化水平，还促进了相关技术在健康管理、智能餐饮等多个领域的深度融合，展现出了广阔的应用前景。搭建一个基于深度学习的食物识别系统，特别是基于YOLOv5的系统，已经成为提升食品识别效率和准确度的重要途径，对满足现代健康管理需求具有深远的实际意义。
2. 相关理论技术
2.1. 深度学习理论
卷积神经网络(CNN)作为深度学习在计算机视觉的核心架构，通过局部特征提取、非线性激活、空间降维和层次化特征抽象实现高效图像识别。其工作流程始于卷积层，利用滑动卷积核提取局部特征，并通过参数共享大幅减少计算量；随后激活函数引入非线性，增强模型表达能力；池化层则压缩特征图尺寸，提升平移不变性并抑制噪声。高层特征经全连接层或全局平均池化映射为分类结果，结合注意力机制可动态强化关键特征。训练中，交叉熵损失与Focal Loss优化分类性能，Dropout和BatchNorm防止过拟合，数据增强则提升泛化能力。CNN在图像分类、目标检测、医学影像分析等领域表现卓越，而前沿技术如Transformer融合、神经架构搜索及轻量化模型正推动其向多模态学习、边缘计算扩展，为自动驾驶、智慧医疗等场景提供更高效、自适应的解决方案。如图1所示。
Figure 1. Architecture diagram of deep learning model
图1. 深度学习模型结构图
2.2. YOLOv5模型
Figure 2. Architecture diagram of YOLOv5 model
图2. YOLOv5模型结构图
YOLOv5是一种高效的实时目标检测模型，其工作流程首先通过CSPDarknet53主干网络提取图像特征，然后结合SPP模块和特征金字塔FPN实现多尺度特征融合，引入CBAM注意力机制增强关键特征的提取能力。在训练阶段采用旋转、裁剪和色彩变换等数据增强技术提升模型鲁棒性，检测头输出的预测结果经过NMS后处理优化后，最终输出高精度的检测框和类别信息。凭借跨阶段部分网络结构降低计算量、注意力机制强化特征选择以及NMS消除冗余框等优化技术，YOLOv5在保持实时性的同时，实现了优异的检测精度，已成功应用于智能厨房设备和健康管理系统等场景，为用户提供快速准确的食物识别和营养分析服务。如图2所示。
2.3. 数据集概述
UNIMIB2016_YOLOv5是一个专为餐饮场景优化的食物识别数据集，基于UNIMIB2016 Food Database构建。该数据集包含1027张高分辨率(3264 × 2448)的餐厅托盘图像，涵盖73类共3616个食物实例，其中部分类别还细分为不同变种以增加识别难度。每张图像都配有标准YOLO格式的标注文件，采用“类别ID中心X比例中心Y比例宽度比例高度比例”的标注格式。数据集特别包含了混合食物、光照变化、图像畸变等真实场景中的挑战性因素，经过严格筛选去除了模糊和重复图像，为YOLOv5模型训练提供了多样化的高质量数据，有效提升了模型在智能餐饮和健康管理等实际应用中的识别鲁棒性。如图3所示。
Figure 3. Dataset overview diagram
图3. 数据集概述图
3. 训练YOLOv5模型
3.1. YOLOv5s网络结构
作为YOLOv5系列的轻量化变体，YOLOv5s (You Only Look Once version 5 small)通过CSPDarknetS主干网络与SPP-FPN多尺度特征融合机制，在实时性与检测精度间实现了高效平衡。其设计包括输入预处理、主干网络(Backbone)、头部网络(Head)以及检测层(Detect)。YOLOv5s模型以640 × 640 × 3的RGB图像作为输入，首先通过Focus模块进行切片重组(将相邻4像素拼接为1通道)和3 × 3卷积，生成320 × 320 × 32的特征图；主干网络(Backbone)由多级下采样模块构成，包含Conv层(3 × 3卷积 + 步长2)、C3模块(3个Bottleneck结构实现跨层特征融合)和SPP层(多尺度最大池化)，最终输出P3 (80 × 80 × 128)、P4 (40 × 40 × 256)、P5 (20 × 20 × 512)三层特征图；头部网络(Head)通过上采样拼接(如P5与P4融合)、下采样拼接(如P3与P4融合)及C3模块优化，生成多尺度检测特征——P3 (160 × 160 × 128)、P4 (80 × 80 × 256)、P5 (40 × 40 × 512)，分别对应小、中、大目标检测；检测层(Detect)在三层特征图上应用预定义锚点(P3: [10, 13, 16, 30, 33, 23]、P4: [30, 61, 62, 45, 59, 119]、P5: [116, 90, 156, 198, 373, 326])，通过1 × 1卷积输出边界框坐标、置信度及类别概率，实现高效多尺度目标检测。整个模型通过depth_multiple = 0.33和width_multiple = 0.5压缩参数量至8.9 M，兼顾精度与实时性。实验表明，YOLOv5s在自建UNIMIB2016数据集(73类食物，3616标注实例)上达到92.7%的mAP@0.5与63 FPS (RTX 3090)，低光照(<50 lux)及多目标(≥5类/图)场景下准确率稳定于85%以上。如图4所示。
Figure 4. Architecture diagram of YOLOv5s network
图4. YOLOv5s网络结构图
3.2. 评价指标
评价指标在机器学习和深度学习中特别是对于分类和检测任务，有助于评估模型的性能，确保模型在实际应用中能够达到预期的效果。
1) 混淆矩阵(Confusion Matrix)：作为分类任务的基础评估工具，其通过二维表结构直观呈现模型预测与实际标签的对应关系。如表1所示。
Table 1. Confusion matrix table
表1. 混淆矩阵表
|
预测为正类(Positive) |
预测为负类(Negative) |
实际为正类(Positive) |
True Positive (TP) |
False Negative (FN) |
实际为负类(Negative) |
False Positive (FP) |
True Negative (TN) |
True Positive (TP)：被正确预测为正类的样本数。
False Positive (FP)：被错误预测为正类的负类样本数。
True Negative (TN)：被正确预测为负类的样本数。
False Negative (FN)：被错误预测为负类的正类样本数。
2) 动态阈值分析：
P_curve：展示置信度阈值变化时精确率的响应特性。
(1)
R_curve：反映召回率随判定阈值变化的敏感度。
(2)
F1 Score：精确率与召回率的调和平均数(F1 = 2 × P × R/(P + R))，提供平衡性评估。
(3)
3) mAP (mean Average Precision)：mAP是所有类别平均精度(AP)的平均值。AP是在不同置信度阈值下，精确率(Precision)和召回率(Recall)的平均值。
(4)
mAP@0.5：在交并比(IoU)阈值为0.5标准下的平均精度。
(5)
mAP@0.5:0.95：采用多IoU阈值(0.5至0.95，步长0.05)的严格评估模式，其中N为阈值数量，该指标能全面评估模型在不同定位精度要求下的稳健性。
(6)
3.3. 模型训练
1) 环境准备(见表2)。
2) 配置文件调整：输入为四维张量(N, C1, H, W)，经过卷积层处理后生成新的特征图，其参数包括通道数、卷积核尺寸等关键配置。卷积输出经批量归一化加速训练，再通过Hardswish激活函数引入非线性。最终使用.view()操作将四维特征(C2, H’, W’)展平为二维张量(N, C2H’W’)，以便输入全连接层。这一系列操作完成了从原始输入到分类特征的完整转换。
3) 模型推理：初始化统计变量后，遍历数据集对每帧图像进行预处理(张量转换、归一化、维度扩展)。在模型预测阶段记录耗时，并使用NMS去除冗余检测框。处理有效检测时计算图像尺寸与归一化增益，利用Annotator绘制检测框和标签，并根据结果决定后续操作。系统支持实时可视化监控，并针对图片/视频采用不同保存策略，通过visualize参数控制中间结果输出，实现了端到端的数据处理与结果展示。如图5所示。
Figure 5. Model inference flowchart
图5. 模型推理流程图
Table 2. Environment configuration table
表2. 环境配置表
NVIDIA驱动 |
通过确认系统信息确保下载操作系统相匹配的驱动
程序。下载驱动程序安装包 |
|
Anaconda |
打开终端创建一个新的虚拟环境，环境创建后，
激活开始工作，使用Conda命令安装所需的Python包 |
Conda create-n YOLOv5 python = 3.8 |
Conda activate YOLOv5 |
|
|
PyTorch安装 |
根据系统和CUDA版本，访问PyTorch官网，选择合适的安装命令，安装完成后，验证PyTorch是否正确安装 |
Pip install torch torchvision torchaudio |
YOLOv5下载 |
打开浏览器，导航到YOLOv5的GitHub仓库，下载整个项目，包括源码、训练数据、配置文件 |
Git clone
https://github.com/ultralytics/yolov5.git |
Figure 6. Model loading flowchart
图6. 加载模型流程图
4) 加载模型：从.pt文件加载模型或自动下载官方预训练权重，并通过YAML配置确保架构一致。初始化时启用GPU和FP16加速，设置模型为验证模式。数据加载支持多尺度图像自动适配imgsz，训练时复用数据加载器。推理阶段联合优化分类、置信度和边界框损失，预测后执行坐标映射与NMS筛选。评估环节计算mAP、构建混淆矩阵，并将预测结果(类别/位置/置信度)保存为TXT和JSON文件。支持真实标签与预测混合用于自动标注评估，并统计NMS耗时。如图6所示。
Figure 7. Model validation flowchart
图7. 模型验证流程图
5) 模型验证：将模型切换至验证模式(关闭dropout和BN层的训练行为)，加载验证集评估泛化能力。推理阶段自动调整输入图像尺寸进行多尺度前向传播，输出结果经尺寸映射后与真实标签比对。评估系统初始化混淆矩阵，实时计算mAP、准确率和召回率等指标，同时记录每个样本的预测值–真实值对照数据，为后续性能分析和模型优化提供完整验证日志。如图7所示。
3.4. 结果分析
本研究通过混淆矩阵热力图系统评估了深度学习模型在意大利菜肴多分类任务中的性能。结果显示，模型对Lasagne (AP@0.5 = 0.92)和Ossobuco (AP@0.5 = 0.88)等典型菜式分类准确率高(平均precision = 89.7%)，主对角线呈深蓝色显著标识。但非对角线区域存在明显类间混淆，如Spaghetti alla Carbonara与Bucatini all’Amatriciana混淆率达18.3%，归因于视觉相似性。此外，“Background FN”象限显示假阴性率为12.4%，揭示模型对背景区域过度泛化。优化建议包括增强背景标注多样性、引入CBAM等注意力机制以提升特征判别能力，增强复杂场景下的鲁棒性。如图8所示。
Figure 8. Confusion matrix diagram
图8. 混淆矩阵图
本研究通过精度–置信度曲线系统评估多类别分类模型的预测可靠性。横轴为置信度，纵轴为精度，结果显示当阈值设为0.959时，模型实现100%精度(mAP@0.95 = 1.00)，展现出强判别能力。类别分析显示显著差异，如Spaghetti Carbonara在0.7~0.8置信区间精度波动达0.15，提示特征混淆问题。该可视化方法不仅增强了模型决策的可解释性，也为置信度阈值优化(建议0.85)和类别平衡策略提供了数据支持，有助于提升复杂场景下的模型鲁棒性。如图9所示。
Figure 9. Precision-confidence curve
图9. 精度–置信度曲线图
Figure 10. Recall-confidence curve
图10. 召回率–置信度曲线图
本研究利用召回率–置信度曲线对多类别分类模型的检测敏感性进行了定量评估。结果显示，置信度阈值为0时，模型召回率达96% (mRecall = 0.96)，表现出强正例捕获能力；但当阈值升至0.8时，召回率下降至0.72 (ΔR = 0.24)，体现精度与召回的典型权衡。类别分析显示，Ossobuco等炖菜的召回衰减斜率为−0.32，显著高于Risotto的−0.18，表明形态相似类别更易漏检。分析指出，将置信度设为0.65可在保持85%召回率的同时，控制误检率在15%以下，为实际菜品识别任务提供了关键阈值选择依据。如图10所示。
本研究通过F1分数–置信度曲线对多类别分类模型进行系统评估。结果表明，当置信度阈值为0.366时，模型达到最佳综合性能(F1 = 0.63)。性能表现具有明显阈值依赖性：置信度低于0.2时，F1快速下降(ΔF1 = 0.28)，主要受精度影响；高于0.5时，则因召回骤降导致F1下滑(ΔR = 0.41)。类别分析显示，Pasta类菜品在0.3~0.4区间表现稳定(F1 = 0.65 ± 0.03)，而Soup类波动较大(F1 = 0.52 ± 0.08)，可能与视觉模糊有关。建议在实际部署中采用动态置信度阈值策略(0.3~0.45)，以提升整体F1分数15%以上，兼顾召回率与分类性能。如图11所示。
Figure 11. Score-confidence curve
图11. 分数–置信度曲线图
本研究通过精度–召回率曲线系统评估了目标检测模型在餐饮场景中的性能。结果显示，在IoU = 0.5下，模型mAP达0.769，较基线提升12.3%。在召回率0.6~0.8区间保持高精度(Precision = 0.82 ± 0.04)，具备良好实用性。但类别分析显示显著差异：Pasta类AP为0.85，而Minestrone类仅0.65，主要受液体特征模糊性影响(FP率23%)。综合性能AUC为0.81，建议对低AP类别引入CutMix增强与CBAM注意力机制，提升复杂场景下的鲁棒性，为智能餐饮系统的部署提供关键参考。如图12所示。
通过可视化训练曲线发现，边界框(Box)、目标性(Objectness)和分类损失均呈下降趋势，验证集损失(val_box = 0.025)略高于训练集(box = 0.018)，显示轻微过拟合(Δ = 0.007)。精度在前100个epoch快速收敛至0.89，召回率则缓慢提升至0.83，表明模型优先优化准确性。超过150个epoch后，验证召回进入平台期，建议调整正样本采样策略。最终，mAP@0.5达0.852，mAP@0.5:0.95为0.632 (差距Δ = 0.22)，反映模型在高IoU下定位能力较弱。深度训练(200~300 epoch)显著提升mAP@0.5:0.95 (+0.15)，优于前期增速，表明后期训练有助于增强定位精度。如图13所示。
Figure 12. Precision-recall curve
图12. 精度–召回率曲线图
Figure 13. Metrics curve
图13. 指标曲线图
4. 系统设计
4.1. 实验环境
本研究的实验在统一配置的计算平台上进行，以确保实验过程的可控性与结果的可复现性。硬件方面，系统搭载NVIDIA GeForce RTX 2080 Ti显卡用于加速深度学习模型的训练与推理任务。在开发工具与技术选型方面，采用了表3所示的技术栈。
Table 3. Experimental environment table
表3. 实验环境表
开发工具与技术 |
说明 |
编程语言 |
Python 3.8作为主要开发语言，构建后端服务、
模型训练脚本等深度学习框架：PyTorch，支持高效的模型开发与训练 |
前端框架 |
pyqt5，构建现代化、响应式的用户界面 |
数据库 |
MySQL用于存储系统数据 |
版本控制 |
Git，进行代码版本管理与协作 |
IDE |
PyCharm或提供代码编辑、调试、项目管理等功能 |
4.2. 技术框架
本研究采用基于YOLOv5架构的端到端目标检测系统，该模型通过单阶段检测范式提升了推理效率，同时保持了优异的检测精度(mAP@0.5 = 0.852)。系统创新性地整合了多尺度特征金字塔与通道注意力机制，在PASCAL VOC数据集上实现了3.2%的性能提升。技术实现层面，采用PyQT5框架构建跨平台GUI界面，结合OpenCV进行实时图像预处理，并通过PyTorch的JIT编译器优化模型推理速度。系统架构采用MVC设计模式，实现前后端分离：前端通过WebSocket协议传输视频流，后端采用异步IO处理支持高并发请求。数据持久化层选用MySQL关系型数据库，配合Redis缓存机制，使查询响应时间控制在50 ms以内。如图14所示。
Figure 14. Technical framework diagram
图14. 技术框架图
4.3. 系统功能与非功能需求
本研究设计并实现了一个基于深度学习的智能食物识别系统，其功能与非功能需求规范如下：在功能性方面，系统核心采用YOLOv5s架构实现多类别食物检测(支持73种食物类别，mAP@0.5 = 0.852)，通过集成PyTorch模型推理引擎实现端到端处理流程(单帧处理时间 ≤ 50 ms@GPU)。系统架构包含四个关键模块：1) 计算机视觉处理模块，支持静态图像(JPEG/PNG)与实时视频流(H.264/RTSP)双模态输入；2) 数据管理模块，采用AES-256加密的MySQL关系型数据库存储用户查询日志(日均处理能力 ≥ 20万条)；3) 响应式GUI界面，基于PyQT5框架开发，支持4K分辨率自适应布局；4) 异步任务队列，通过Celery实现分布式处理，峰值并发处理能力达200 QPS。在非功能性需求方面，系统实现了四重保障机制：性能层面采用模型量化(FP32→INT8)和缓存优化，使P99延迟控制在80 ms以内；安全层面通过RBAC权限模型和TLS1.3传输加密满足GDPR合规要求；可靠性方面设计双活集群架构，故障自动切换时间 < 30秒；扩展性方面采用微服务设计，支持通过Docker容器快速部署新模型版本(热更新耗时 < 1分钟)。
4.4. 系统设计与实现
本研究提出了一种基于模块化设计的智能食物识别系统架构，其核心设计理念围绕“双角色协同优化”展开。系统采用前后端分离的微服务架构，通过RESTful API实现数据交互(平均延迟 < 100 ms)。在前端实现方面，基于PyQT5框架开发了跨平台GUI界面，集成三大功能组件：1) 多模态输入模块，支持JPEG/PNG/MP4等格式的实时预览与上传；2) 可视化结果展示模块，采用热力图叠加技术直观呈现食物类别及置信度；3) 自适应布局引擎，通过QT样式表实现4 K/1080 P多分辨率适配。后端系统采用分层架构设计：数据处理层集成OpenCV实现图像预处理流水线，处理吞吐量达200 FPS@RTX 3060；模型推理层部署量化后的YOLOv5s模型，结合Celery分布式任务队列实现200 + QPS的并发处理能力；数据持久层采用MySQL关系数据库与Redis缓存组合方案，通过行级加密和RBAC权限模型确保数据安全，查询性能提升60%。特别地，系统设计了双通道管理界面：用户端聚焦“识别–反馈”闭环流程(操作步骤 ≤ 3次点击)，管理员端提供模型热更新、数据标注等专业工具，支持Docker容器化部署。如图15所示。
Figure 15. System design diagram
图15. 系统设计图
5. 结论
本研究设计并实现了一种基于改进YOLOv5架构的智能食物识别系统，解决了复杂餐饮场景下的食物分类难题。系统采用PyTorch框架构建，在自建的UNIMIB2016增强数据集上实现了85.2%的mAP@0.5识别精度，推理速度达到63 FPS。构建端到端处理流水线，集成OpenCV图像预处理和MySQL加密存储，支持200 + QPS的并发请求。实验验证表明，系统在低光照和多目标场景下保持85%以上的准确率。该系统为健康管理领域提供了可靠的技术解决方案，后续将探索基于知识蒸馏的模型轻量化和跨模态营养分析等方向。
NOTES
*通讯作者。