中医舌诊智能化的研究进展

Research Progress of the Intelligentization of TCM Tongue Diagnosis

摘要: 舌诊是中医辨证论治的特色之一，它能为临床诊断和治疗提供必要的客观证据。舌象是快速反映机体生理功能和病情变化的一种外在表现，对指导中医诊断与治疗有着十分重要的意义。在中医舌诊客观化的发展过程中，利用数码影像分析方法来研究数字化舌象，以达到定量化的目的。本文通过对现有舌诊客观化和智能化研究中存在的舌象采集、舌象区域自动分割、舌象特征提取、舌象的客观化诊断等方面进行总结，以期为舌诊的智能化发展奠定基础。

Abstract: Tongue diagnosis is one of the distinctive features of traditional Chinese medicine (TCM) for syndrome differentiation and treatment, providing essential objective evidence for clinical diagnosis and treatment. The tongue appearance is an external manifestation that quickly reflects the physiological functions and changes in the condition of the body, which is of great significance in guiding TCM diagnosis and treatment. In the development of the objectification of TCM tongue diagnosis, digital imaging analysis methods are used to study digital tongue images to achieve quantification. This article summarizes the existing research on the objectification and intelligentization of tongue diagnosis, including tongue image acquisition, automatic segmentation of tongue regions, feature extraction of tongue images, and objective diagnosis of tongue images, to lay the foundation for the intelligent development of tongue diagnosis.

1. 引言

舌诊，又称望舌，主要是通过观察舌象的各种变化，了解机体生理功能和病理变化的一种临床诊断方法。舌象由舌质(即舌体)、舌苔和舌下络脉三部分组成，它是中医临床辨证必不可少的客观检查依据之一，对于判断疾病的邪正盛衰、辨识病位深浅、区分病邪性质以及推测病势进退等都有着重要的指导意义。传统的舌诊方法受医生的知识水平和思维方式的限制，也受光线、环境等外界因素的影响，对舌象的判别结果可能因人而异[1]，不利于中医诊断的进一步发展。为了提高临床诊断能力和实现辨证的规范化和标准化，我们需要将现代先进技术与中医舌诊相结合，实现舌象的客观化诊断。近年来，利用人工智能技术对舌图像进行采集和分析已成为舌诊研究的必然方向，本文从中医舌象的采集、舌体自动分割、舌象特征的识别与分析和舌象的客观化诊断四个方面对其进行概述。

2. 舌图像的采集方法

舌图像的采集是舌诊客观化研究的基础。为了保证计算机辅助舌象分析的准确性和真实有效性，高质量的舌图像应满足以下两个特点：图像清晰，分辨率高，色彩真实；舌体、舌质和舌苔等各项舌象信息完整。舌图像采集主要涉及光源、光路设计、显色指数、设备外观设计等方面，其中光源和设备选择是舌象采集研究的重要方向。一方面，不同光源下采集的图像对舌象特征的提取有一定的影响，所以在光源的选择上尽可能接近自然光，还原出真实色彩高质量的舌象图像。当前使用的尽可能模拟出白天自然光的人工光源主要有荧光光源、发光二极管(LED冷光源)、固定卤钨灯、相机闪光灯、氙灯，其光源的显色性、色温可使舌图像采集更真实稳定[2]。另一方面，国家政策支持开展中医特色诊断治疗装备研究，鼓励研发中医数字化辅助诊断装备，这促进了舌象采集装备的研究[3]-[5]，也提高了各种采集装置的应用价值，如舌色检查仪、舌体测算仪、CCD相机、电镜等。舌象采集设备通常由主机、图像采集装置和光源组成，其采用数字化舌图像采集平台与标准化的方法还原舌象，保证舌象的真实可靠性。为排除周围环境因素的干扰，一般选择在封闭的条件下完成舌象的采集工作。目前，许多学者在舌象采集的光源和设备设计方面做了大量研究并取得了良好的效果。

首先，在采集舌图像的光源选择方面，许家佗教授团队在光源选择的研究中对比了自然光源和人工光源对舌图像的不同采集效果，结果显示，自然光源的光照效果最适用于临床[6]-[8]。石强团队[9]比较了D50光源和自然光源下采集的舌象图片，结果显示，D50光源和自然光源的舌象图片相似，均可应用于舌象采集中。其次，许多研究团队均设计出多种型号的舌象采集设备，如上海中医药大学许家佗教授团队研制出TFDA-1型舌诊仪，王忆勤教授团队研制出ZBOX-1型舌脉仪[10]，上海道生医疗科技有限公司的邸丹等人设计了一种手持式舌象仪[11]，北京工业大学蔡轶珩团队设计了一种以图形技术和聚类算法为核心的标准舌象分析仪[12]。

然而，通过相机和舌象分析仪采集的舌图像中包含的信息有限，可能无法满足对舌象进行精确分析的需求。为了采集更多的舌象信息，研究者们开始探索基于光谱的方法来获取舌象。例如，Li等人[13]使用高光谱成像仪替代传统的数码相机来采集舌图像。Liu等人[14]也提出了一种高光谱成像系统，该系统主要通过声光可调谐滤波器和光谱适配器的相互作用，有效收集舌体区域的反射率数据，从光谱数据中提取与肿瘤特征相关的信息，为舌肿瘤的检测提供了可能性。赵静等人使用光谱技术实现了对舌质、舌体区域分割以及舌纹理的分析[15]。

总体而言，现有的舌图像采集方式有很多，但很多方法都存在成本高、携带不方便等问题，很难在多种场景下的网络终端应用。因此，开展基于多种智能设备的舌图像获取与诊断规范的研究，有望成为智能化舌诊研究的一个重要方向。

3. 舌象预处理方法研究

3.1. 图像预处理

在舌象的采集过程中，各种外部因素，例如光线、拍摄角度和不同的舌诊仪型号等，都可能对舌象采集造成影响，这可能导致计算机很难识别出真实的舌象数据。因此，我们有必要对收集到的舌图像进行更深层次的图像处理，比如颜色校正和降噪处理等。

目前，颜色校正方法的研究主要分为两大类：一种是在舌图像采集过程中，借助标准色卡或白板等参照物，使用线性回归和支持向量回归等技术手段，将这些参照物的颜色映射至标准光照条件下的颜色状态，进而计算出相应的增益系数。许多学者在这方面进行了深入研究，如许家佗教授团队[8]在室内自然光环境下，首先根据柯达Q-13灰阶色卡设置数码相机的自动白平衡参数，并在拍摄舌图像时记录相应的白平衡信息，最后根据这些信息计算R和B两颜色通道的增益系数，从而完成舌图像的颜色校正工作。张志枫等人[16]使用硬件校正和软件校正这两种方法对色卡和舌图像进行研究，首先在硬件校正上将麦克贝斯标准白板作为标准物，对采集舌图像的设备进行了手动白平衡调节，其次在软件校正上选用柯达Q-13灰阶色卡对采集的舌图像进行了校正，最后研究结果表明，使用灰阶色卡的软件校正方法比硬件校正的效果更好。孙祥栋[17]使用标准色卡代替白色纸板来采集舌图像，运用K-means算法获取了不同手机型号、不同天气条件下的颜色状态，然后采用多数表决模式来计算色差校正的增益系数，从而完成颜色校正的工作。Wang等人[18]使用Munsell 24色卡进行多项式回归方法的参数训练，得出颜色校正模型，研究发现，在使用标准色卡的条件下多项式组合为最简单的RGB模式时校正效果最好。Zhang等人[19]将4个含有24个小色块的色标卡作为参照物，实现了在CIE Lab颜色空间进行客观校正。

另一种方法侧重于利用数字图像处理技术，深入分析舌图像的颜色分布特征，并对舌图像的偏色现象及程度进行评估，根据评估结果确定校正参数，最终完成舌图像的颜色校正工作。许多研究人员做了相关研究，如徐晓昭团队[20]提出了一种将经典的灰度世界法和完美反射法结合的方式，灰度世界算法主要基于图像中色彩丰富的假设进行颜色校正，而完美反射理论假设图像中最亮的点是白点，并以此白点为参考对图像进行自动白平衡，徐晓昭等人在原有线性映射校正的基础上对R和B两个通道增加了约束条件，并借助克莱姆法则求解，从而得到精确的颜色校正系数。此后，他们又提出了两种改进的灰度世界算法——基于标准差加权的算法和基于图像熵约束的算法[21]。刘齐等人[22]根据舌苔颜色的具体分布情况，使用改进的灰度世界法和镜面法，更接近标准光照下的舌象，修正偏色的同时，削弱了灰度世界算法的过度校正现象。而Zhuo等人[23]在模型训练方面进行了创新，他们选取了与舌体、舌苔、肤色颜色相近的色块样本，并运用模拟退火(Simulated Annealing, SA)-遗传算法(Genetic Algorithm, GA)-反向传播(Back Propagation, BP)神经网络算法进行模型训练，在图像颜色校正方面，采用平均色差最小化的方法来确保校正效果。

在处理由成像设备造成的图像问题时，我们可以采用一系列图像滤波算法[24]-[29]来降低图像的噪声。通过对区域像素进行数学运算，图像滤波算法可以计算出合适的目标像素点输出值，有效减少噪声对图像细节的干扰。常见的图像滤波算法有均值、中值和高斯滤波算法三种。均值滤波算法在降噪处理中是普遍且高效的。均值滤波作为最典型的滤波算法，其处理方式是通过计算K*K窗口内像素值的平均值作为输出像素点，这种方式可以对噪点的像素值进行有效调节，从而达到抑制噪音的效果，但是在调节过程中也可能使图像细节丢失，产生图像边界模糊等问题。中值滤波算法是通过计算像素周围区域的中值来平滑图像，它能够在减少图像边缘细节丢失的同时，达到良好的噪声处理效果。高斯滤波算法与均值滤波算法类似，都是矩形窗口内所有像素点的像素值加权和，不同点在于，高斯滤波的权重服从二维正态分布，越靠近窗口中心点，权重越大，所以在降低满足正态分布的噪声工作中，高斯滤波算法展现出独特的优势。

3.2. 舌象分割

为了保证后期舌图像分析的准确性和真实性，我们需要进行舌图像分割处理。该步骤是为了从原始的舌图像中去除面部、唇部等干扰环境，充分保留舌区域的有效信息，提高舌图像识别与分类的精准性。舌象分割是舌图像分析的基础，其准确性会直接影响舌诊客观化的分析结果。目前舌象分割方法可分为传统技术和深度学习两种。

3.2.1. 基于传统图像技术的舌象分割方法

传统的舌体分割方法根据其分割原理可以归纳为三种方法。第一种方法是根据舌体区域内像素值的相似性来进行舌体区域的识别；第二种方法是根据舌体边缘处相邻像素值的差异性来进行舌体边缘的识别；还有一种方法是利用动态轮廓模型来实现舌体目标区域的精确分割。

在根据舌体区域内像素值的相似性进行识别的舌体分割中，识别的原理在于舌体区域的相邻像素值的差异较小，而其他部位间(如舌面部)则存在较大的差异。通过观察这种“峰谷”趋势，我们可以选取谷值区内的数据作为阈值进行颜色归类，从而成功地从原始图像中识别和分离出舌体目标区域[30]。但是这种方法容易受光线因素的影响，很难满足中医舌象分割精度的需求[31]。为了改进分割效果，研究者们采用了多种舌体区域识别方法。如赵忠旭等人[32]将RGB色度模型转为HIS色度模型来凸显舌体区域，利用H分量进行二值化处理，通过聚类算法消除舌体目标区域以外的数据，从而实现舌体的分割。此外，还有一种基于自适应阈值的舌体分割方法，这种方法主要将舌图像切分为多个图像子块，通过迭代计算得出每个子块的最优阈值，而后依照每个子块的最优阈值组成矩阵，利用该矩阵对舌体进行分割[33]。区域识别方法主要利用舌图像中像素数据间的共性特点并结合部分机器学习算法实现了舌体的分割，为早期的舌诊客观化研究提供了支持，但由于其分割精度与自动化程度表现较差，目前上述方法已很少用于舌诊客观化的相关工作中。

对舌体的分割还可以通过边缘处相邻像素值的差异性对舌体边缘进行识别，从而实现舌体区域与面部、嘴唇等区域分离。例如，蒋依吾等人[34]在进行舌体分割工作时，首先对舌图像进行矩形提取，然后对该区域进行对比度增强处理，最后根据RGB数据差异确定舌体边缘，实现舌体区域的分割。与区域识别的舌体分割方法相比，基于边缘识别技术的舌体分割侧重于提取图像中相邻区域像素的特征。但这种方法只适用于简单舌象的分割，对于齿痕舌、斑点舌等复杂舌象，很可能将舌苔特征误识别为舌体目标区域的边界。基于上述局限性，这种基于舌体边缘的分割方法目前已很少使用。

在利用动态轮廓模型进行舌体分割工作中，二维图像的可变图像分割模型[35]，即Snake模型，最早由Kass等人提出。这种模型的关键技术在于通过能量泛函数最小化来逐渐获取舌图像的真实边界。许多研究人员运用这种方法实现了舌体分割，如孙晓琳等人[36]通过引入HSV色彩空间对舌图像特征进行分析，初步获取图像的模糊边界，然后利用优化后的Snake模型逐渐接近舌体的真实边缘，最终实现了舌体目标区域的精确分离。此外，王明英等人[37]运用两组动态轮廓模型对舌图像进行分割，进而提高了分割的精确度。相对于区域识别和边缘识别的分割方法而言，Snake模型的精确度和稳定性较好，目前被广泛应用于舌体分割的任务中。但是Snake模型也存在一定的局限性，主要表现在使用的过程中需要预先设定初始边缘，或者需要联合其他算法自动设定初始边缘，不仅增加了模型的复杂度，还会影响模型的自动化程度和分割效率。

总体上，传统的分割方法主要根据图像像素值的特性和一些特定算法实现舌体区域的分割，但这些算法大多依赖人工辅助，运行速度较慢，应用场景局限于封闭环境。因此，运用新的图像处理技术来提高图像分割的效率具有重要的意义。

3.2.2. 基于深度学习算法的舌象分割方法

深度学习是机器学习研究领域的一个新兴研究方向，其概念最早由Hinton等人在2006年提出的。研究人员对深度学习网络的早期定义是一种包含多个隐含层和感知器的结构，它能够识别到更深层次的数据特征[38]。但是由于当时计算机硬件环境具有一定局限性，无法进行大量的高纬度矩阵计算，因此深度学习的发展相对缓慢[39]。随着人工智能技术的不断发展，且计算机设备不断更新迭代，深度学习算法被广泛应用于医学图像识别领域。卷积神经网络(CNN) [39]-[42]作为经典的深度学习模型之一，其最大的优势在于通过卷积层和池化层提取图像的局部特征和降低维度，从而减少参数数量和计算量；同时也可以通过堆叠多个卷积层和池化层构建深层次的网络结构，从而提高模型的表达能力和泛化能力。2014年，Shelhamer等人创新性地提出了一种全卷积“端对端”图像网络架构，这种结构在使用PASCAL VOC数据集进行图像分割的实验中取得了显著的效果[43]，这在一定程度上为后续的研究奠定了基础。

早期中医舌诊领域的客观化研究虽获得了一些成效，但因其精确性和可重复性不足等未能在临床上广泛应用。随着深度学习的不断发展，许多研究人员将其应用于舌体分割方面，取得了良好的效果。Li等人[44]将HSV色彩空间与CNN相结合，实现了对舌体区域的有效分割，同时研究发现深度学习算法在舌体分割任务中具有高鲁棒性的优势。Tang等人[45]通过构建一个多任务级联的卷积神经网络，高效地完成了舌体定位、舌色分类以及舌区域定位等相互关联的工作，该网络结构能够获取舌体区域和舌体边缘上的30个特征点，实现舌体分割。颜建军等人[46]使用Mask R-CNN模型进行舌体分割工作，取得了良好的分割效果。江智泉等人[47]使用U-NET模型分割舌体，并将特征提取模块替换为VGNet16卷积层结构。通过特征融合的方法，该模型可以保留低维度的特征信息，从而实现舌体的准确分割。马龙祥等人[48]使用ResNet101模型提取舌区域特征，并结合高分辨率网络的卷积结果，获取舌象特征，从而实现精确的舌体分割。黄留挥等人[49]构建了一种新型双支FCN2s的舌体分割算法，该算法能够获取更多的舌体边缘信息，从而提升了舌体分割的精确度。这些学者的研究充分展现了深度学习技术在舌象分割领域中的广泛应用。因此，将深度学习技术引入中医学研究领域已成必然趋势。此外，深度学习技术也存在一些局限性，深度学习模型对样本量需求比较高，这在一定程度上降低了深度学习算法的可适用性。

总体而言，深度学习技术是一种新型的图像识别技术手段，其在识别任务当中具有识别精准、无人为因素干扰等优势，在中医舌诊客观化的研究中具有较高的技术平台价值。但还需要进一步提高深度学习的应用范围。

4. 舌象识别分析方法研究

舌图像特征的定性与定量分析是实现舌诊客观化的一个重要过程。目前舌象识别的重点在于舌质、舌苔和舌下络脉三个方面。传统的舌象识别方法依赖于人工标注，这在一定程度上影响了识别的准确性。随着人工智能技术的不断发展，深度学习技术不断应用于医学图像的识别上，不仅提高了图像分类的准确性，还推动了舌诊客观化的研究进程。

4.1. 舌质与舌苔颜色识别

舌质和舌苔的颜色变化可以反映人体的健康状况，是中医师诊断疾病的重要参考，因此对舌色和苔色进行分类和识别具有重要的价值。舌色，即舌质的颜色，可分为淡红、淡白、红、绛、青紫五种；苔色的变化主要有白苔、黄苔、灰黑苔三类。研究者们提出多种识别方法，并取得了良好的分类效果。如肖庆新等人[50]提出了一种基于轻型卷积神经网络的舌苔颜色分类方法，在扩充原始数据的基础上运用轻型卷积神经网络对舌象特征进行提取和分类，最后取得了94.85%的准确率，这种方法提高了分类的效率。杨晶东等人[51]提出了一种小样本舌象分类方法，该方法结合了深度学习和迁移技术，不仅有效地解决了舌象分类中普遍存在的小样本问题，还提高了分类的效率和准确性。翟鹏博等人[52]提出了一种融合注意力机制的深度学习舌苔颜色分类算法，注意力机制模块可有效排除舌体背景相关的干扰信息，相比于KNN、SVM等传统机器学习方法有着更好的舌苔颜色分类效果。上述研究者们通过构建神经网络模型实现了舌象分类任务，但大多结构只适用于单标记的分类任务，如单独的舌苔颜色、舌质形态等，可能忽略了舌头整体特征之间的关联性。汤一平等人针对这一问题提出了基于卷积神经网络的多任务联合学习模型[31]，通过训练多个SoftMax分类器对标签进行预测，实现了自动提取舌象多个特征并进行相关分析。这种多任务联合方法具有一定的优势，但仍需大量数据进行训练，以提高临床应用价值。

4.2. 舌质形态识别

舌质形态包含舌质的形状和舌体的动态两方面。由于舌体动态具有不稳定性，目前对于舌质形态的研究主要集中于点刺、裂纹、齿痕等舌质形状方面。点，指突出于舌面的红点；刺，指舌乳头突起如刺，摸之棘手的红色点刺。中医认为，点刺是邪热炽盛充斥舌络引起，观察点刺的颜色可以判断气血运行的情况和病情的轻重，根据点刺的部位可以区分邪热在何脏。裂纹指舌面出现各种裂纹，齿痕指舌体边缘有牙齿压迫的痕迹，二者均可反映人体气血运行情况。对于点刺瘀点，王昇[53]使用斑点检测算法对斑点和瘀点进行提取并生成特征向量，使用支持向量机和K-means聚类算法分析舌象特征，完成分类工作。对于齿痕舌和裂纹舌，芮迎迎等人[54]提出了一种基于Mask Scoring R-CNN的齿痕舌识别模型，首先通过深度残差网络提取特征信息，接着利用区域生成网络获取感兴趣区域(Region of Interest, ROI)，通过筛选ROI得出齿痕舌的预测结果。刘佳丽等人[55]在YOLOv3目标检测算法的基础上，构建了改进型Double-D分类模型，该模型融合了细粒度，利用金字塔结构提取舌图像的特征信息，实现了裂纹舌的准确识别。温坤哲等人[56]提出了一种新的卷积块结构K Block，并在此基础上构建了K-CNN舌体胖瘦分类模型，完成了舌体胖瘦的识别和分类工作。Xiao等人[57]通过对比InceptionNet V3、ResNet 50和MobileNet V1三种深度学习模型在腐腻苔方面的识别效果，使用多模型决策机制实现了三种网络模型的互补，从而提高了腐腻苔的识别准确度。

5. 舌象的客观化诊断研究

中医舌诊的客观化研究是中医走向现代化进程的必要条件，目前有许多学者不断研究疾病的证型与舌象之间的联系，取得了一定的成效。如王忆勤教授团队[58]对1000例冠心病患者进行了舌象分析，建立了心气虚患者与舌体胖大、有齿痕的联系，经过对症治疗，舌头齿痕的指数明显下降；心阴虚患者与舌体瘦薄红绛、有裂纹相联系，经过治疗，患者舌色转为淡红，且裂纹指数明显下降。马春玲等人[59]通过观察血糖调节障碍和早期糖尿病患者的舌象，总结出糖尿病患者具有舌色暗淡、舌体胖大、多齿痕等舌象特征。中医证型和舌象特征的对应关系的建立，可以有效促进中医证型自动化识别的相关研究，这对实现中医诊断的客观化具有重要的意义。

6. 结论

舌诊是中医特色的诊断方法之一，也是实现中医客观化发展的重要内容。近年来，机器学习方法广泛应用于医学图像识别和分类中，取得了良好的识别效果和分析能力，这有利于促进中医舌象诊断的客观化进程。然而，目前在关于舌诊智能化的研究过程中仍然缺乏大量标准的舌图像数据。大部分舌象研究中缺乏均衡的大样本数据，导致模型训练的泛化能力降低；且缺乏对舌象数据的综合分析，这很难有效建立舌象特征和中医证型之间的对应关系，与临床表现不相匹配。因此，我们需要继续深化多学科的融合，推动建立舌象标准数据库，提高舌象分析的精确度和有效性。在推动舌诊客观化的过程中借助人工智能技术实现中医四诊的数据化分析与处理，不断推进中医诊断的客观化与定量化进程。

基金项目

国家自然科学基金面上项目(82274411)；湖南省自然科学基金面上项目(2022JJ40300)；湖南中医药大学科研基金“揭榜挂帅”专项(2022XJJB002)；湖南省青年科技创新人才项目(2022RC1021)。

NOTES

^*通讯作者。