电子皮肤多模态传感与深度学习综述
Review of Multimodal Sensing and Deep Learning in Electronic Skin
DOI: 10.12677/jsta.2025.133034, PDF, HTML, XML,   
作者: 徐 鹏:辽宁科技大学电子与信息工程学院,辽宁 鞍山;赵 琪*:辽宁科技大学计算机与软件工程学院,辽宁 鞍山
关键词: 电子皮肤多模态传感深度学习医疗健康监测机器人E-Skin Multimodal Sensing Deep Learning Health Monitoring Robotics
摘要: 电子皮肤是一种柔性电子设备,能模拟人类皮肤的感知功能,其感知能力正从单模态向多模态融合演进,并逐步实现从实验室到商业化的转变。通过集成触觉、化学及温湿度传感器,电子皮肤可感知压力,检测生物标志物,并通过这些功能适应环境变化,在医疗健康监测、智能穿戴和机器人领域展现出巨大潜力。深度学习技术的应用,如卷积神经网络、循环神经网络、Transformers和脉冲神经网络,显著提升了电子皮肤的多模态数据处理效率与智能化水平,推动了其在健康监测和人机交互领域的发展。然而,电子皮肤仍面临多模态信号解耦、生物相容性及能源效率等挑战。未来,随着新型传感器、轻量化算法、仿生材料和自供电技术的引入,电子皮肤有望进一步提高感知精度与经济性。同时,深度学习模型的加入与跨学科合作将加速电子皮肤性能优化与产业化进程。本文综述了电子皮肤的多模态传感技术与深度学习应用,分析了当前挑战,并展望了未来发展方向,为其技术进步与商业化提供参考。
Abstract: Electronic skin (e-skin) is a flexible electronic device capable of mimicking the sensory functions of human skin. Its sensing capabilities are evolving from single-modal to multimodal fusion, gradually transitioning from laboratory research to commercialization. By integrating tactile, chemical, and temperature-humidity sensors, e-skin can perceive pressure, detect biomarkers, and adapt to environmental changes through these functionalities. It demonstrates significant potential in fields such as healthcare monitoring, smart wearables, and robotics. The application of deep learning technologies, such as Convolutional Neural Networks (CNNs), Recurrent Neural Networks (RNNs), Transformers, and Spiking Neural Networks (SNNs), has significantly enhanced the efficiency of multimodal data processing and the intelligence level of e-skin, driving its development in health monitoring and human-machine interaction. However, e-skin still faces challenges such as multimodal signal decoupling, biocompatibility, and energy efficiency. In the future, with the introduction of novel sensors, lightweight algorithms, biomimetic materials, and self-powered technologies, e-skin is expected to further improve sensing accuracy and cost-effectiveness. Additionally, the integration of deep learning models and interdisciplinary collaboration will accelerate the optimization of e-skin performance and its industrialization. This paper reviews the multimodal sensing technologies and deep learning applications of e-skin, analyzes current challenges, and provides insights into future development directions, offering a reference for its technological advancement and commercialization.
文章引用:徐鹏, 赵琪. 电子皮肤多模态传感与深度学习综述[J]. 传感器技术与应用, 2025, 13(3): 343-354. https://doi.org/10.12677/jsta.2025.133034

1. 引言

皮肤作为人体最大的器官,由表皮、真皮和皮下组织构成,拥有丰富的感受器,能够感知微小压力、温度和触觉刺激,为人体提供全方位保护[1]。为了使电子设备能够像人类皮肤一样感知和响应外界刺激,电子皮肤的概念应运而生。电子皮肤是一种柔性电子设备,能够模拟人类皮肤的感知功能,如触觉、温度和湿度等,并通过集成传感器实现对外界刺激的响应[2]-[4]。近年来,随着柔性材料和传感技术的进步,电子皮肤结合深度学习,从单一感知演进为多模态感知,在医疗健康监测、机器人及人机交互、智能穿戴等领域展现出广泛的应用潜力。

在医疗健康监测中,电子皮肤通过触觉、化学及温湿度传感器采集生理数据,如脉搏、葡萄糖、呼吸信号,结合卷积神经网络等深度学习模型进行分析,实现实时健康监测与疾病早期预警[5] [6]。在机器人和假肢领域,电子皮肤高灵敏度触觉传感器和光学检测技术赋予设备精准感知能力,支持复杂操作和自然交互[1] [7]。在智能穿戴设备中,电子皮肤监测运动和环境数据,为用户提供个性化反馈[8]。此外,深度学习技术的进步显著推动了电子皮肤的发展。例如,循环神经网络和Transformers模型优化了电子皮肤多模态数据的时序分析,脉冲神经网络则引入低功耗生物启发设计,提升了感知精度与效率[9]-[11]

然而,电子皮肤仍面临多模态信号解耦、生物相容性、能源效率及制造成本等挑战。本文综述了触觉、化学及温湿度传感器的最新突破,分析了卷积神经网络、循环神经网络、Transformers和脉冲神经网络在电子皮肤中的应用,探讨了信号处理、材料安全性及产业化瓶颈,并展望了自修复材料、轻量化算法和跨学科合作推动其从实验室走向商业化的前景,为未来研究提供方向。

2. 电子皮肤的多模态传感器技术

电子皮肤通过柔性、可穿戴平台模拟人类皮肤的多模态感知,集成触觉、化学和温湿度传感器,分别负责压力与接触感知、生物标志物检测及环境适应性监测,共同支持医疗健康、可穿戴设备和机器人应用。以下介绍各类传感器的最新突破及其在电子皮肤中的贡献。

2.1. 触觉传感器

触觉传感器是电子皮肤模拟人类皮肤触觉感知的核心模块,广泛应用于机器人、假肢和人机交互领域。机械触觉传感器利用柔性材料检测应变和压力,为电子皮肤奠定了基础,而光学触觉检测通过光信号分析弥补了其在空间分辨率和检测范围上的不足。

机械触觉传感器在灵敏度、解耦能力和耐久性等方面不断突破。2021年,Zhu等人开发了一种高性能机械传感器,灵敏度达0.144 kPa1,响应时间小于150 ms,并通过简化工艺降低成本,为可穿戴设备提供了经济性基础[12]。同样针对灵敏度优化,Deng等人在2025年发表的研究中采用褶皱和多孔微结构设计,使电子皮肤灵敏度高达1.58 kPa1,能够在低压下区分儿童与成人脉搏率,展现了其在诊断领域的潜力[13]。为解决多模态信号干扰问题,2024年,清华大学张一慧教授团队受人体皮肤机械感受器启发,设计了一种三维结构的仿生电子皮肤[1]。该设计利用八臂笼状力传感器和应变传感器单元,效仿Merkel细胞和Ruffini小体的空间布局,实现多种机械刺激的独立测量,仅通过触摸即可实现对食物成熟度的准确感知,为人形机器人和智能假肢提供了支持。在耐久性方面,根据2022年Na等人在npj Flexible Electronics发表的一项研究,他们通过优化结构,开发出一种基于垂直石墨烯的柔性应变传感器。该传感器不仅电阻灵敏度提升超100倍,而且在10,000次应变循环后仍保持性能稳定,对延长电子皮肤使用寿命有重要意义[14]。此外,2023年,上海交通大学团队设计了一种多接触机制的触觉传感器,可同时测量正常力和剪切力,并推出可穿戴三轴触觉传感器,进一步拓展了复杂空间力的感知能力[15]

在机械触觉奠定基础后,光学触觉检测拓宽了应用维度。2024年,Bacher等人提出了用于检测波导内触摸和压力的新型激光雷达触摸传感器OptoSkin [16]。OptoSkin利用全内反射传播光线,通过受抑全内反射接收反射光实现触摸检测。结合光检测和测距技术,OptoSkin无需密集传感器矩阵即可监控大面积区域,不仅降低成本和功耗,还能实现多点触摸与压力精确检测。该技术可使协作机器人在工厂中安全避障,或在服务机器人中支持自然手势交互,为智能机器人提供了关键支持。2025年,国防科技大学团队模仿触觉囊泡交错结构设计了一种光学微纤维阵列皮肤,将该皮肤收集的信号与多层感知机结合,实现了对不同硬度和形状的物体以及盲文图案的高准确率识别。研究人员还将光学微纤维阵列皮肤集成到机器人手臂,实现了对麻将花色的准确识别,为人机交互提供了新的解决方案[7]

研究表明,机械触觉传感器凭借技术成熟度和广泛应用,在灵敏度和耐久性上较为成熟,而光学触觉检测则在多点感知和低功耗应用中展现创新潜力。然而,机械传感仍需平衡高灵敏度与长期稳定性,光学传感则需优化复杂环境下的信号稳定性。未来,通过自修复材料巩固机械传感基础,结合光学技术的大面积感知和人工智能分析,可进一步提升触觉精度和智能化水平,推动电子皮肤在多场景中的应用。

2.2. 化学传感器

在电子皮肤中,化学传感器利用柔性平台,如聚二甲基硅氧烷(PDMS)和明胶气凝胶,实现生物标志物的无创检测,为健康监测增添独特功能。2024年,He等人利用PDMS等柔性基底和生物相容性材料,开发了一种电化学传感器(通过电化学反应检测化学物质),可长期无创监测脉搏波形、皮肤电反应、皮肤温度以及葡萄糖、乳酸等标志物[17]。研究团队利用支持向量机算法分析多维数据,以98.0%的准确率区分压力源并量化心理压力。在实现多功能监测的同时,研究人员也关注佩戴舒适性和安全性。2021年,Yeon等人在Science Advances上发表一项研究。他们通过模仿汗孔,设计了带穿孔的电子皮肤,其设备可在数周内可靠地监测受试者健康状况,且其多孔可透气的设计使其佩戴起来更加舒适、自然,适合长期生理数据收集[18]。2023年,Zhu等人基于柔性明胶甲基丙烯酰气凝胶(FGA)设计了一款电子皮肤贴片,凭借其低密度、高孔隙率和柔软的特性,实现了优异的透湿性和贴合感。其内部通道结构的设计,可使汗水快速排除,避免皮肤炎症,特别适用于运动监测等场景[8]

在伤口监测领域,化学传感器同样展现出巨大潜力。根据Sharifuzzaman团队2020年发表在Biosensors and Bioelectronics上的研究,他们设计了一种灵活可拉伸的智能绷带,集成了尿酸和pH传感器,可实时监测伤口部位的尿酸水平和酸碱变化。通过快速响应伤口状态,该绷带有助于医生优化治疗方案,加速伤口愈合[19]

化学传感器的研究在非侵入式健康监测和多功能集成方面进展显著,但如何提升低浓度生物标志物的检测灵敏度、降低制造成本、确保长期佩戴稳定性及推动大规模生产,仍是未来研究的重点。

2.3. 温湿度传感器

在电子皮肤中,温湿度传感器在医疗健康和软机器人领域应用广泛。2024年,南京大学团队基于新型耐用离子导电水凝胶开发了一种可穿戴传感器[20]。该传感器利用水凝胶的高灵敏度和柔性,结合温度与湿度数据的融合分析,同步监测呼吸和体温,并能清晰显示腕部浅表血管通路。这一技术为慢性病患者和老年人的无创监测提供了支持,降低了采血负担。

在呼吸监测领域,2024年,Ni等人通过双网络水凝胶结构制备了一种高灵敏度、高拉伸性的湿度传感器[21]。双网络水凝胶由刚性的聚丙烯酰胺和弹性的聚乙烯醇组成,赋予传感器高灵敏度和优异拉伸性,精准捕捉微弱呼吸信号,适用于实时监测呼吸和睡眠过程,在可穿戴设备中展现应用前景。

尽管这些创新提升了温湿度传感器的性能,但实际应用中仍需解决长时间佩戴可能引发的皮肤潮湿、过敏或压力分布不均等问题。未来通过纳米技术超薄透气材料或自供电技术,可提升佩戴舒适性,推动电子皮肤在长期监测中的应用。

2.4. 电子皮肤不同传感器的比较分析

电子皮肤的多模态感知依赖于触觉传感器、化学传感器和温湿度传感器的协同作用,这些传感器基于不同原理在功能性和应用上各具特色。机械触觉传感器通过压阻、压电或电容原理,利用石墨烯、水凝胶等柔性材料的形变检测压力和应变,其设计常模拟人类皮肤感受器实现多维感知,近期发现表明,水凝胶基压力传感器通过优化传导机制显著提升了灵敏度,而石墨烯与水凝胶的结合增强了可拉伸导电性能,仿生结构设计也进一步推动了触觉检测的进展[22]-[24]。光学触觉传感器通过光信号变化检测触摸,例如利用全内反射或光纤阵列捕获形变信号。2024年Yao等人在Nature Electronics的工作证实,硅纤维和微纳米纤维基光学传感器在高灵敏度触觉检测中表现出色[25]。化学传感器的原理基于电化学反应或分子识别,通过目前常见的PDMS、明胶气凝胶柔性基底检测生物标志物,生成与化学物质浓度相关的电信号。实验数据表明,气凝胶基电子皮肤可实现代谢生物标志物的无创监测,而PDMS复合材料则提升了传感器的耐用性和拉伸性[8] [26]。而温湿度传感器则利用热敏电阻、湿敏电容或离子导电原理,借助离子水凝胶等材料的电学变化测量环境参数,最新研究证实,离子水凝胶在湿度检测中具有高灵敏度,水合离子凝胶的热致变色特性可以用于环境温度监测[27] [28]

各类传感器在性能和应用上各有优劣。机械触觉传感器技术成熟,灵敏度高,耐久性强,但多模态信号易发生串扰,通过结构设计如特殊绝缘层和电极布局可缓解这一问题[29] [30]。另外,制造工艺复杂,涉及复杂材料系统和高成本生产,限制了大规模应用。光学触觉传感器支持大面积多点检测,功耗低,空间分辨率高,但易受到环境波动的影响[25]。化学传感器在无创检测生物标志物方面表现优异,透气性设计提升佩戴舒适性,但低浓度灵敏度不足,长期佩戴可能引发皮肤刺激[31]。温湿度传感器柔性好,拉伸性强,适合温度和湿度监测,但响应速度较慢,长时间佩戴易导致皮肤潮湿,研究指出其在环境适应性监测中具有独特价值,但需进一步优化舒适性[27]

从适用场景看,机械触觉传感器适合机器人抓取和医疗触诊等需要高精度触觉反馈的领域,例如清华大学张一慧团队通过触摸感知食物成熟度的研究[1]。光学触觉传感器适用于动态交互,可用于协作机器人避障和盲文识别,如国防科技大学识别麻将花色的应用[7]。化学传感器聚焦健康监测,适用于汗液分析和伤口管理,例如Sharifuzzaman团队监测伤口状态的工作[19]。温湿度传感器则在呼吸和体温监测中表现出色,如南京大学支持慢性病管理的设计[20]

综合来看,机械触觉传感器在灵敏度和耐久性上更具优势,光学触觉传感器在低功耗和大面积感知方面表现突出,化学传感器在生物标志物检测的多样性上领先,温湿度传感器则在环境适应性监测中展现独特价值。未来,触觉传感器可通过自修复材料和光学–机械融合提升性能,化学传感器需优化低浓度检测和生物相容性,温湿度传感器可借助纳米技术和自供电设计提高舒适性与效率。结合深度学习,如卷积神经网络解耦信号、Transformers分析时序数据,不同传感器间的协同优化将推动电子皮肤在机器人、医疗和可穿戴设备中的智能化应用(表1)。

Table 1. Comparison and analysis of characteristics of multimodal sensors for electronic skin

1. 电子皮肤多模态传感器特性对比与分析

传感器 类型

技术原理

性能特点

优势

局限性

应用场景

最新突破

触觉 传感器

机械触觉触感器: 基于压阻/压电效应: 外力导致柔性导电材料(如石墨烯、水凝胶) 电阻/电荷变化;

光学触觉传感器: 通过全内反射或光纤形变引起光强/波长调制

机械触觉传感器:高灵敏度、快速响应、 耐久性;

光学触觉传感器:高空间 分辨率、 低功耗、支持 多点触摸检测

机械触觉 传感器: 高灵敏度、技术成熟、成本可控;

光学触觉 传感器: 大面积检测、抗电磁干扰

机械触觉 传感器: 多模态信号易串扰, 制造工艺 复杂;

光学触觉 传感器: 使用需要 考虑外部 环境条件

机器人、 假肢、 人机交互

张一慧团队三维仿生 结构实现解耦感知、 OptoSkin光学检测 大面积监控、国防科技 大学光学微纤维 阵列皮肤

化学 传感器

电化学检测:

生物标志物与电极 发生氧化还原反应, 产生受浓度变化 影响的电流电压信号

多标志物检测、透气性设计

无创健康 监测、 生物相容性

低浓度 灵敏度 不足, 长期佩戴 刺激皮肤

健康监测、

伤口管理

He团队电化学传感器 可长期无创检测多种 生物标志物、Zhu团队FGA贴片提升透湿性

温湿度 传感器

离子导电机制: 湿度/温度变化 引起水凝胶中离子 迁移率改变,导致 阻抗/电容变化

环境参数 动态响应

环境适应性 监测、 健康监测

响应 速度慢, 长期佩戴 导致皮肤 潮湿

呼吸监测、 体温检测

南京大学团队基于新型 水凝胶的可穿戴传感器、Ni团队双网络 水凝胶捕获微弱信号

3. 电子皮肤与深度学习结合

近年来,电子皮肤与深度学习结合显著提升了医疗健康和机器人应用的能力,通过分析其采集的多模态数据,如触觉、生理信号,在心血管监测、汗液分析、纹理识别等领域展现潜力。以下介绍卷积神经网络、循环神经网络、Transformers和脉冲神经网络在电子皮肤中的应用突破。

3.1. 卷积神经网络

电子皮肤通过传感器采集高维复杂信号,卷积神经网络凭借卷积层提取局部特征、池化层降维的能力,能有效捕捉触觉地图和生理信号的空间模式,显著提升数据处理效率。

STAG (Scalable Tactile Glove)是一种柔性触觉传感器,模拟人类皮肤感知压力、温度和振动。2019年,Sundaram等人利用卷积神经网络从STAG采集的触觉数据中提取空间特征,实现物体重量估计和分类,为机器人抓取和假肢设计提供了支持[32]。同样在触觉领域,2022年,Park等人开发的仿生弹性电子皮肤通过电阻抗变化和振动信号生成触觉图像,卷积神经网络通过卷积操作识别拍打、挠痒等动态触摸模式,分类准确率达98.7%,为机器人环境交互开辟了新路径[33]。在健康监测方面,2024年,Zhang等人结合比色传感和卷积神经网络,开发出汗液分析贴片,从比色图像中提取空间分布特征,精准分类和量化Zn2+、葡萄糖和Ca2+,助力疾病早期预警和临床诊断[34]

这些研究表明,卷积神经网络通过自动提取空间特征,优化了电子皮肤复杂信号的处理效率,为触觉感知和健康监测提供了高效解决方案。

3.2. 循环神经网络

循环神经网络通过循环结构保留历史信息,能有效捕捉电子皮肤的时序数据,如压力、温度变化,其改进模型长短期记忆网络和门控循环单元通过门控机制提升长序列处理能力。

2023年,Możaryn提出NARX RNN模型,利用循环结构校准电子皮肤传感器,估计触觉压力变化,解决非线性动态问题,提升了感知精度[35]。2025年,Guo等人在综述研究中指出,在电子皮肤的应用中,循环神经网络的两种改进结构长短期记忆网络和门控循环单元能够解决传统循环神经网络在分析长序列方面面临的挑战,能够更好地监测生理信号变化,分析健康状况[9]。这些研究表明,循环神经网络的循环机制能从电子皮肤的连续信号中提取动态特征,为实时监测和控制提供了支持。

循环神经网络在时序处理中表现优异,尤其适用于电子皮肤的动态感知需求。但其训练易受梯度问题影响,计算速度和并行化能力有限,需进一步优化,而Transformers模型则提供了替代方案。

3.3. Transformers模型

Transformers模型是一种深度学习架构,通过自注意力机制捕捉时序数据的全局依赖关系,相较于循环神经网络的顺序处理,其并行计算能力显著提升了效率,适合处理电子皮肤采集的动态多模态数据,如压力、温度随时间变化的信号。

2023年,Hu等人将Transformers模型与软机器人电子皮肤结合,利用自注意力机制分析传感器阵列的时序信号,解决了软机器人感知几何细节的挑战[10]。他们通过捕捉触觉数据的空间–时间关联,实现了对复杂物体形状的高精度识别,为人机交互和机器人技术提供了新方向。这一研究表明,Transformers能有效整合电子皮肤的多维时序信息,克服传统模型在长序列依赖上的局限,其并行处理和全局建模能力为动态感知提供了新视角。

3.4. 脉冲神经网络

脉冲神经网络以事件驱动、低功耗和生物启发特性,为电子皮肤的触觉感知提供了独特潜力。其脉冲信号和时间维度设计优于传统人工神经网络,特别适合处理电子皮肤采集的动态时序数据。然而,脉冲神经网络与电子皮肤直接结合的研究仍处于起步阶段,相关工作稀少。

2022年,英国格拉斯哥大学团队利用脉冲神经网络的Spike-Timing-Dependent Plasticity (STDP)机制,将触觉信号映射为脉冲序列,强化物体硬度和纹理识别,展现了生物启发的优势[36]。同年,Macdonald等人开发了一种仿生触觉系统,将基于事件的视觉系统mini-eDVS集成至人工指尖,通过3层脉冲神经网络和无监督学习,分类点击和滑动刺激,保持较低误差[11]。近期,Guo等人利用新型事件驱动触觉传感器进行学习,他们在研究中引入了DeepTactile,一种基于深度学习的事件驱动触觉感知框架[37]。该框架将脉冲神经网络和图神经网络结合,能够更好地处理图结构中的时空信息。相较于传统触觉感知方法,DeepTactile在准确性、延迟性和计算效率上均有提升,为处理时空图数据提供了新思路。尽管DeepTactile未直接针对电子皮肤开发,其事件驱动特性与电子皮肤的动态感知需求高度契合,为未来在低功耗触觉处理上的结合提供了重要思路。

脉冲神经网络在触觉处理中展现了高精度和低能耗潜力,尤其在机器人和假肢的交互应用中前景可期。但其研究依赖神经形态硬件,如Intel Loihi,通用平台优化不足,且事件驱动数据处理需专用方法,限制了与电子皮肤的广泛融合。未来,结合新型传感器和框架如DeepTactile,或将推动脉冲神经网络在电子皮肤领域的突破。

3.5. 电子皮肤不同深度学习模型的比较分析

电子皮肤的多模态数据处理高度依赖深度学习模型的支持,而不同模型因工作原理差异,在处理触觉、生理信号及环境数据时各具特色。卷积神经网络通过卷积层提取局部特征、池化层降低维度,擅长处理空间结构化数据,如触觉图像或传感器阵列信号,利用卷积核捕捉压力分布或生理信号的空间模式,适用于触觉图像分类和静态健康监测,例如STAG的物体分类和汗液分析贴片[32]。其优势在于高效的空间特征提取和成熟的计算框架,易于硬件加速,但对时序数据的建模能力较弱,且需大量标注数据训练。2023年,Alami等人指出,卷积神经网络在处理如图像或传感器阵列等非结构化数据时表现出色,这一特性使其适用于电子皮肤触觉数据的空间特征提取,例如机器人抓取中的物体分类或健康监测中的汗液成分分析[38]。循环神经网络则通过循环结构保留时间步的历史信息,适合处理电子皮肤的动态压力或温度变化等时序数据,其改进版本如长短期记忆网络和门控循环单元通过门控机制优化长序列依赖,典型应用包括NARX RNN校准触觉传感器及心血管信号分析,适用于假肢控制和实时监测等场景。循环神经网络在捕捉时间依赖关系方面表现优异,但计算复杂度高,易受梯度消失或爆炸影响,且并行化能力有限,限制了实时性。

相比之下,Transformers基于自注意力机制,摒弃循环神经网络的顺序处理模式,通过并行计算捕捉输入序列的全局依赖关系,适合整合电子皮肤的多模态时序数据,如压力与温度随时间变化的信号。2025年,Guo等人进一步指出,Transformers能有效处理电子皮肤的时间序列和多模态数据,如压力温度信号,提供实时响应,适用于动态环境下的感知任务[9]。脉冲神经网络则以生物启发和事件驱动特性独树一帜,通过脉冲信号传递信息,仅在输入超过阈值时激活,将电子皮肤的动态触觉信号转化为稀疏脉冲序列,利用时间维度编码信息。2025年,Liu等人提出了一种基于脉冲神经网络的神经形态触觉感知系统,用于机器人电子皮肤的纹理识别,通过聚偏氟乙烯传感器和图卷积神经网络实现与人类手指媲美的分类性能,适用于可穿戴设备和机器人应用[39]。DeepTactile框架也展示了其在纹理识别中的高精度和低功耗优势,适用于机器人交互和便携式可穿戴设备等能耗敏感场景[37]。然而,Transformers需大量数据训练且计算资源需求高,目前在电子皮肤中的应用案例较少,适配性仍待验证;脉冲神经网络依赖神经形态硬件,如Intel Loihi,通用平台支持不足,且训练方法复杂,相关研究尚处于早期阶段。

综合来看,卷积神经网络在空间特征提取上高效成熟,适合静态或准静态任务,但对动态数据处理不足。循环神经网络弥补了时序建模短板,适用于连续信号处理,却受限于计算效率。Transformers通过并行化和全局建模突破传统限制,适合复杂多模态场景,但需更多数据和算力支持。脉冲神经网络以低功耗和生物启发特性见长,适合事件驱动任务,但在硬件和算法成熟度上需进一步突破。未来,电子皮肤可根据应用需求选择或组合模型:如在健康监测中结合卷积神经网络和循环神经网络分别处理空间和时序特征,在软机器人中利用Transformers优化多模态融合,在便携设备中探索脉冲神经网络的低功耗潜力。同时,轻量化设计和神经形态硬件的引入将提升模型与电子皮肤的适配性,推动其实时性和智能化发展(表2)。

Table 2. Comparison of working principles and applications of deep learning models in electronic skin

2. 电子皮肤中深度学习模型的工作原理与应用对比

模型类型

工作原理

优势

局限性

典型案例

应用场景

卷积 神经 网络

通过多层卷积核在输入 数据上滑动,逐层提取局部 特征并组合成高级特征表示,配合池化操作降低维度, 最终实现空间模式识别

高效空间特征提取、计算 框架成熟、 易于硬件加速

时序数据处理 能力弱、 需大量标注数据

STAG物体分类、 仿生弹性皮肤、 汗液分析贴片

触觉图像分类、 健康监测、 物体识别与抓取

循环 神经 网络

通过循环连接保留历史信息,利用门控机制(LSTM/GRU) 控制信息流动,解决长序列 依赖问题,实现对时序 数据的建模

捕捉时间依赖关系、适用于动态感知任务

有梯度消失/ 爆炸风险、 计算复杂度高、 并行化能力有限

NARX RNN 校准触觉传感器

动态压力感知、 时序分析 假肢控制

Transformers

通过自注意力机制计算输入 序列中所有位置的关联权重,并行处理全局依赖关系, 配合位置编码保留时序信息

并行处理、 全局建模、 适合复杂 多模态场景

需大量数据、 计算资源需求高、电子皮肤 应用案例有限

软机器人电子 皮肤、压力与温度 信号动态分析

软机器人 形状识别

脉冲 神经 网络

采用生物启发的脉冲神经元,仅在输入超过阈值时发放 脉冲,通过脉冲时序编码 信息,实现事件驱动的 异步计算

低功耗、 高精度、适合能耗敏感场景

硬件依赖、 研究起步阶段、 训练方法复杂

STDP机制触觉 映射、仿生触觉系统、DeepTactile 框架

物体纹理识别、 事件驱动神经 形态触觉感知

4. 电子皮肤的挑战与未来发展方向

随着电子皮肤在医疗健康和机器人领域的应用潜力日益显现,其发展仍面临多重挑战,包括信号处理复杂度、算法优化、材料安全性、能源效率及产业化瓶颈。以下从多模态信号解耦、深度学习结合、生物相容性、能源与效率、制造与经济可行性五个方面探讨当前难题及未来方向。

4.1. 多模态信号解耦

电子皮肤正从单模态向多模态演进,但复杂信号的解耦成为关键挑战。在硬件层面,物理隔离传感器可减少串扰,却因集成度受限影响响应速度;时分复用通过分时采集避免信号混合,但延长采样周期,牺牲实时性。在软件算法层面,卷积神经网络和循环神经网络可通过学习信号特征实现自动分离,然而需要大量标注数据和高计算资源支持。未来,结合自适应滤波和轻量化AI模型,可提升解耦效率,兼顾实时性和资源消耗。

4.2. 电子皮肤与深度学习的进一步结合

前文介绍了电子皮肤与前沿深度学习模型的结合潜力,但在实际研究中,电子皮肤更多与传统机器学习支持向量机等结合,深度学习应用仍有限。这主要源于以下挑战:首先,电子皮肤产生的高维、多模态时序数据需大量标注样本训练,数据采集和标注成本高昂;其次,深度学习模型计算复杂度高,与电子皮肤的低功耗、实时性需求矛盾;此外,现有模型多针对通用场景,未充分适配电子皮肤的柔性、动态特性。例如,前文提到的NARX RNN和Transformers案例虽具突破性,但应用范围较窄,难以满足动态场景下多样化的感知需求,如实时性和复杂环境适应性。

未来,电子皮肤与深度学习进一步融合是关键发展方向。轻量化模型如MobileNet,可降低计算负担,适配嵌入式系统;迁移学习和少样本学习利用预训练模型减少数据需求,快速适配新任务;专用硬件,如神经形态芯片或FPGA,可以提升实时处理效率。具体来说,可以基于前文提到的DeepTactile框架开发电子皮肤专用算法,或者将脉冲神经网络与柔性传感器集成在神经形态硬件中,这些尝试有望使电子皮肤摆脱传统机器学习的局限,充分发挥深度学习的建模能力,提升电子皮肤感知精度和智能化水平。

4.3. 生物相容性

电子皮肤在医疗场景需长期贴肤佩戴,其导电材料、柔性基底和封装材料可能因氧化、水解等反应分解,释放出的小分子物质可能引发皮肤过敏。已有研究采用PDMS和丝蛋白等生物相容材料,通过亲水化处理和仿生多孔设计,减少电子皮肤佩戴部位的汗液积聚,提升透气性,如前文提到的FGA贴片。开发可生物降解的柔性材料是电子皮肤的当下的热门研究方向之一,可降解的电子皮肤不仅能降低毒性风险,还可实现环境友好,对电子皮肤商业化具有重要意义。

4.4. 能源与效率问题

电子皮肤需持续供电以支持感知和数据处理,但电池体积和容量限制了其长时间使用,且电子皮肤常处于待机状态,导致能耗低效。例如,即使无外部刺激,传感器仍持续运行,缩短续航时间。目前已有研究利用环境能量实现电子皮肤自供电来延长使用时间。未来,通过引入低功耗传感器和动态功耗管理,辅以节能算法,可显著降低电子皮肤待机能耗,延长使用寿命。具体来说,Transformers并行处理可以通过减少序列计算提升效率,适用于实时信号处理;轻量化神经网络利用深度可分离卷积降低计算负担,适配嵌入式系统;稀疏计算通过模型剪枝或动态激活减少冗余运算,优化触觉数据的处理能耗。

4.5. 制造与经济可行性

电子皮肤受限于复杂工艺和高成本,尚未实现大规模生产,且产业链不成熟限制了市场需求。已有团队通过印刷电子技术简化制造,如利用喷墨打印制备柔性传感器阵列,降低了生产难度和成本[40]。未来,自修复材料可延长使用寿命,减少更换费用;采用低成本柔性基材,如纤维素,替代昂贵聚合物,将进一步压缩原材料支出。随着工艺优化和市场需求的增长,电子皮肤有望实现经济可行的产业化(表3)。

Table 3. Challenges and future development directions of electronic skin

3. 电子皮肤的挑战与未来发展方向

挑战

当前解决方案

未来方向

多模态信号解耦

传感器物理隔离、分时采集、 卷积神经网络或循环神经网络软件算法分离

自适应滤波、轻量化AI模型

深度学习结合

NARX RNN、Transformer初步应用

MobileNet、神经形态芯片集成

生物相容性

PDMS、FGA贴片提升透气性

可生物降解材料、仿生设计

能源与效率

自供电水凝胶、动态功耗管理

低功耗传感器、稀疏计算优化

制造与经济可行性

印刷电子技术、喷墨打印

自修复材料、低成本基材

5. 总结与展望

电子皮肤作为材料科学、电子工程和人工智能的交叉学科,在医疗监测、智能穿戴、机器人以及人机交互等领域展现出巨大的潜力。本文综述了电子皮肤在传感器技术、深度学习及实际应用中的最新进展。触觉、化学、和温湿度传感器在触觉感知、无创诊断方面取得显著突破。深度学习模型卷积神经网络、循环神经网络在电子皮肤的数据处理上发挥了重要作用,实现了电子皮肤对复杂信号的高效分析和理解。Transformers和脉冲神经网络直接结合电子皮肤的研究相对较少,但相关研究已经表明Transformers和脉冲神经网络在触觉信号处理方面的优势[10] [11]。然而,电子皮肤的性能提高和商业化仍受到多模态信号解耦、生物相容性、能源效率及制造经济性等限制。

展望未来,电子皮肤研究将聚焦于多模态信号解耦、生物相容性提升、低功耗技术及制造工艺优化。新型传感器设计、深度学习算法和仿生材料的开发将提升其处理复杂数据的效率与佩戴舒适性;低功耗传感器、节能算法及动态功耗管理将延长续航时间;低成本材料与简化工艺则推动大规模生产。深度学习技术的深化应用,如强化学习和生成对抗网络,进一步增强电子皮肤的智能化水平。跨学科合作将成为关键,助力其通过多领域协同创新实现从实验室到商业化的跨越,为医疗健康、智能穿戴和机器人领域带来更多便利与福祉。

NOTES

*通讯作者。

参考文献

[1] Liu, Z., Hu, X., Bo, R., Yang, Y., Cheng, X., Pang, W., et al. (2024) A Three-Dimensionally Architected Electronic Skin Mimicking Human Mechanosensation. Science, 384, 987-994.
https://doi.org/10.1126/science.adk5556
[2] Hammock, M.L., Chortos, A., Tee, B.C., Tok, J.B. and Bao, Z. (2013) 25th Anniversary Article: The Evolution of Electronic Skin (e‐Skin): A Brief History, Design Considerations, and Recent Progress. Advanced Materials, 25, 5997-6038.
https://doi.org/10.1002/adma.201302240
[3] Li, S., Zhang, Y., Wang, Y., Xia, K., Yin, Z., Wang, H., et al. (2019) Physical Sensors for Skin‐Inspired Electronics. InfoMat, 2, 184-211.
https://doi.org/10.1002/inf2.12060
[4] Chortos, A., Liu, J. and Bao, Z. (2016) Pursuing Prosthetic Electronic Skin. Nature Materials, 15, 937-950.
https://doi.org/10.1038/nmat4671
[5] Koo, J.H., Lee, Y.J., Kim, H.J., Matusik, W., Kim, D. and Jeong, H. (2024) Electronic Skin: Opportunities and Challenges in Convergence with Machine Learning. Annual Review of Biomedical Engineering, 26, 331-355.
https://doi.org/10.1146/annurev-bioeng-103122-032652
[6] Liu, Y., Wang, H., Zhao, W., Zhang, M., Qin, H. and Xie, Y. (2018) Flexible, Stretchable Sensors for Wearable Health Monitoring: Sensing Mechanisms, Materials, Fabrication Strategies and Features. Sensors, 18, Article No. 645.
https://doi.org/10.3390/s18020645
[7] Zhou, H., Zhang, C., Nong, H., Weng, J., Wang, D., Yu, Y., et al. (2025) Multi-Photon Neuron Embedded Bionic Skin for High-Precision Complex Texture and Object Reconstruction Perception Research. Opto-Electronic Advances, 8, Article ID: 240152.
https://doi.org/10.29026/oea.2025.240152
[8] Zhu, Y., Haghniaz, R., Hartel, M.C., Guan, S., Bahari, J., Li, Z., et al. (2023) A Breathable, Passive‐Cooling, Non‐inflammatory, and Biodegradable Aerogel Electronic Skin for Wearable Physical‐Electrophysiological‐Chemical Analysis. Advanced Materials, 35, Article ID: 2209300.
https://doi.org/10.1002/adma.202209300
[9] Guo, Y., Sun, X., Li, L., Shi, Y., Cheng, W. and Pan, L. (2025) Deep-Learning-Based Analysis of Electronic Skin Sensing Data. Sensors, 25, Article No. 1615.
https://doi.org/10.3390/s25051615
[10] Hu, D., Giorgio-Serchi, F., Zhang, S. and Yang, Y. (2023) Stretchable E-Skin and Transformer Enable High-Resolution Morphological Reconstruction for Soft Robots. Nature Machine Intelligence, 5, 261-272.
https://doi.org/10.1038/s42256-023-00622-8
[11] Macdonald, F.L.A., Lepora, N.F., Conradt, J. and Ward-Cherrier, B. (2022) Neuromorphic Tactile Edge Orientation Classification in an Unsupervised Spiking Neural Network. Sensors, 22, Article No. 6998.
https://doi.org/10.3390/s22186998
[12] Zhu, Y., Hartel, M.C., Yu, N., Garrido, P.R., Kim, S., Lee, J., et al. (2021) Epidermis‐Inspired Wearable Piezoresistive Pressure Sensors Using Reduced Graphene Oxide Self‐Wrapped Copper Nanowire Networks. Small Methods, 6, Article ID: 2100900.
https://doi.org/10.1002/smtd.202100900
[13] Deng, S., Zeng, Q., Xiao, Z., Zhang, J., Yang, G., Wu, X., et al. (2025) High-Performance Flexible Piezoresistive 3D Pressure Sensor Based on Wrinkled Structures and Porous Microstructures. Materials Letters, 379, Article ID: 137688.
https://doi.org/10.1016/j.matlet.2024.137688
[14] Na, H.R., Lee, H.J., Jeon, J.H., Kim, H., Jerng, S., Roy, S.B., et al. (2022) Vertical Graphene on Flexible Substrate, Overcoming Limits of Crack-Based Resistive Strain Sensors. NPJ Flexible Electronics, 6, Article No. 2.
https://doi.org/10.1038/s41528-022-00135-1
[15] Zhu, Y., Li, Y., Xie, D., Yan, B., Wu, Y., Zhang, Y., et al. (2023) High-Performance Flexible Tactile Sensor Enabled by Multi-Contact Mechanism for Normal and Shear Force Measurement. Nano Energy, 117, Article ID: 108862.
https://doi.org/10.1016/j.nanoen.2023.108862
[16] Bacher, E., Cartiel, S., García-Pueyo, J., Stopar, J., Zore, A., Kamnik, R., et al. (2024) Optoskin: Novel LIDAR Touch Sensors for Detection of Touch and Pressure within Wave Guides. IEEE Sensors Journal, 24, 33268-33280.
https://doi.org/10.1109/jsen.2024.3443615
[17] He, Y., Xu, X., Xiao, S., Wu, J., Zhou, P., Chen, L., et al. (2024) Research Progress and Application of Multimodal Flexible Sensors for Electronic Skin. ACS Sensors, 9, 2275-2293.
https://doi.org/10.1021/acssensors.4c00307
[18] Yeon, H., Lee, H., Kim, Y., Lee, D., Lee, Y., Lee, J., et al. (2021) Long-Term Reliable Physical Health Monitoring by Sweat Pore-Inspired Perforated Electronic Skins. Science Advances, 7, eabg8459.
https://doi.org/10.1126/sciadv.abg8459
[19] Sharifuzzaman, M., Chhetry, A., Zahed, M.A., Yoon, S.H., Park, C.I., Zhang, S., et al. (2020) Smart Bandage with Integrated Multifunctional Sensors Based on Mxene-Functionalized Porous Graphene Scaffold for Chronic Wound Care Management. Biosensors and Bioelectronics, 169, Article ID: 112637.
https://doi.org/10.1016/j.bios.2020.112637
[20] Zhang, J., Yan, K., Huang, J., Sun, X., Li, J., Cheng, Y., et al. (2024) Mechanically Robust, Flexible, Fast Responding Temperature Sensor and High‐Resolution Array with Ionically Conductive Double Cross‐Linked Hydrogel. Advanced Functional Materials, 34, Article ID: 2314433.
https://doi.org/10.1002/adfm.202314433
[21] Ni, Y., Zang, X., Yang, Y., Gong, Z., Li, H., Chen, J., et al. (2024) Environmental Stability Stretchable Organic Hydrogel Humidity Sensor for Respiratory Monitoring with Ultrahigh Sensitivity. Advanced Functional Materials, 34, Article ID: 2402853.
https://doi.org/10.1002/adfm.202402853
[22] Chen, Y., Lv, C., Ye, X., Ping, J., Ying, Y. and Lan, L. (2025) Hydrogel-Based Pressure Sensors for Electronic Skin Systems. Matter, 8, Article ID: 101992.
https://doi.org/10.1016/j.matt.2025.101992
[23] Lu, Y., Yang, G., Wang, S., Zhang, Y., Jian, Y., He, L., et al. (2023) Stretchable Graphene-Hydrogel Interfaces for Wearable and Implantable Bioelectronics. Nature Electronics, 7, 51-65.
https://doi.org/10.1038/s41928-023-01091-y
[24] Geng, B., Zeng, H., Luo, H. and Wu, X. (2023) Construction of Wearable Touch Sensors by Mimicking the Properties of Materials and Structures in Nature. Biomimetics, 8, Article No. 372.
https://doi.org/10.3390/biomimetics8040372
[25] Yao, N. and Wang, S. (2024) Recent Progress of Optical Tactile Sensors: A Review. Optics & Laser Technology, 176, Article ID: 111040.
https://doi.org/10.1016/j.optlastec.2024.111040
[26] Hu, H., Ma, Y., Hassan, Y.A., Chen, L., Ouyang, J., Yang, H., et al. (2025) Conductive PDA@HNT/rGO/PDMS Aerogel Composites with Significantly Enhanced Durability and Stretchability for Wearable Electronics. Microstructures, 5, Article ID: 2025020.
https://doi.org/10.20517/microstructures.2024.121
[27] Choi, S., Kang, S., Lee, J., Park, J. and Kang, S. (2023) Recent Advances in Wearable Iontronic Sensors for Healthcare Applications. Frontiers in Bioengineering and Biotechnology, 11, Article ID: 1335188.
https://doi.org/10.3389/fbioe.2023.1335188
[28] Mao, Y., Wang, L., Wu, Z., Ji, D., Sheng, H., Chang, X., et al. (2023) Thermochromic Optical/Electrical Hydrated Ionogel with Anti-Freezing and Self-Healing Ability for Multimodal Sensor. Composites Communications, 44, Article ID: 101769.
https://doi.org/10.1016/j.coco.2023.101769
[29] Li, J., Wang, H., Luo, Y., Zhou, Z., Zhang, H., Chen, H., et al. (2024) Design of AI-Enhanced and Hardware-Supported Multimodal E-Skin for Environmental Object Recognition and Wireless Toxic Gas Alarm. Nano-Micro Letters, 16, Article No. 256.
https://doi.org/10.1007/s40820-024-01466-6
[30] Li, Z., Yang, J., Zhang, Y., Geng, P., Feng, J., Chen, B., et al. (2024) Ultrafast Readout, Crosstalk Suppression Iontronic Array Enabled by Frequency-Coding Architecture. NPJ Flexible Electronics, 8, Article No. 9.
https://doi.org/10.1038/s41528-024-00295-2
[31] Mao, P., Li, H. and Yu, Z. (2023) A Review of Skin-Wearable Sensors for Non-Invasive Health Monitoring Applications. Sensors, 23, Article No. 3673.
https://doi.org/10.3390/s23073673
[32] Sundaram, S., Kellnhofer, P., Li, Y., Zhu, J., Torralba, A. and Matusik, W. (2019) Learning the Signatures of the Human Grasp Using a Scalable Tactile Glove. Nature, 569, 698-702.
https://doi.org/10.1038/s41586-019-1234-z
[33] Park, K., Yuk, H., Yang, M., Cho, J., Lee, H. and Kim, J. (2022) A Biomimetic Elastomeric Robot Skin Using Electrical Impedance and Acoustic Tomography for Tactile Sensing. Science Robotics, 7, eabm7187.
https://doi.org/10.1126/scirobotics.abm7187
[34] Zhang, J., Liu, Z., Tang, Y., Wang, S., Meng, J. and Li, F. (2024) Explainable Deep Learning-Assisted Self-Calibrating Colorimetric Patches for in Situ Sweat Analysis. Analytical Chemistry, 96, 1205-1213.
https://doi.org/10.1021/acs.analchem.3c04368
[35] Możaryn, J. (2023) NARX Recurrent Neural Network Model of the Graphene-Based Electronic Skin Sensors with Hysteretic Behaviour. In: Biele, C., et al., Eds., Machine Intelligence and Digital Interaction Conference, Springer, 233-241.
https://doi.org/10.1007/978-3-031-37649-8_23
[36] Liu, F., Deswal, S., Christou, A., Sandamirskaya, Y., Kaboli, M. and Dahiya, R. (2022) Neuro-Inspired Electronic Skin for Robots. Science Robotics, 7, eabl7344.
https://doi.org/10.1126/scirobotics.abl7344
[37] Guo, F., Yu, F., Li, M., Chen, C., Yan, J., Li, Y., et al. (2025) Event-Driven Tactile Sensing with Dense Spiking Graph Neural Networks. IEEE Transactions on Instrumentation and Measurement, 74, Article ID: 2508113.
https://doi.org/10.1109/tim.2025.3541787
[38] Shiri, F.M., Perumal, T., Mustapha, N., et al. (2023) A Comprehensive Overview and Comparative Analysis on Deep Learning Models: CNN, RNN, LSTM, GRU.
[39] Liu, Z., Wang, X., Xiang, G., Wang, Z., Shao, Y. and Liu, H. (2025) A Neuromorphic Tactile Perception System Based on Spiking Neural Network for Texture Recognition. In: Lan, X.G., et al., Eds., International Conference on Intelligent Robotics and Applications, Springer, 176-191.
https://doi.org/10.1007/978-981-96-0789-1_13
[40] Molina-Lopez, F., Gao, T.Z., Kraft, U., Zhu, C., Öhlund, T., Pfattner, R., et al. (2019) Inkjet-Printed Stretchable and Low Voltage Synaptic Transistor Array. Nature Communications, 10, Article No. 2676.
https://doi.org/10.1038/s41467-019-10569-3