用于光学神经形态计算的人工电致变色突触

Artificial Electrochromic Synapses for Optical Neuromorphic Computing

摘要: 光学神经形态计算具有速度快、并行处理、容量大、抗干扰能力强等优点，因此在视觉感知、智能语音系统和生物医学图像处理方面大有可为。然而，对于触觉、嗅觉和听觉等感官来说，从感官输入转换而来的电反应无法输入到光学神经形态计算的框架中。如何实现光电转换是光学神经形态计算面临的巨大挑战。文章提出了一种基于人工电致变色突触的电光转换途径，由普鲁士蓝(Prussian Blue, PB)和氧化钨(Tungsten Oxide, WO₃)组成的突触在不同电压下表现出可调的光学透射率，根据电压脉冲下的透射率响应，可以展示典型的突触行为，包括短期记忆、长期记忆和双脉冲易化。然后制作了一个3 × 4的人工电致变色突触阵列，用于显示盲文数字图像。为了进行盲文识别，图像被输入到一个衍射深度神经网络(Diffraction Deep Neural Network, D²NN)，这是一个结合了光学衍射原理和深度学习的光学神经形态计算框架。实验显示盲文数字0~9的识别准确率达到100%。这些结果表明，将人工电致变色突触与光学神经形态计算相结合，为实现低成本、快速、高效的多模态人工智能系统提供了新的方向。

Abstract: Optical neuromorphic computing offers advantages such as high speed, parallel processing, large capacity, and strong resistance to interference, making it promising for visual perception, intelligent speech systems, and biomedical image processing. However, for sensories of tactility, olfactory, and auditory, electrical responses converted from sensory inputs cannot be inputted into frameworks of optical neuromorphic computing. It is a tremendous challenge for optical neuromorphic computing to achieve electrical-optical conversion. In this paper, a pathway of electrical-optical conversion based on artificial electrochromic synapses is proposed. The synapse, consisting of Prussian blue and tungsten oxide, exhibits tunable optical transmittances under different voltages. Based on the transmittance responses under voltage pulses, typical synaptic behaviors, including short-term memory, long-term memory, and paired-pulse facilitation, can be demonstrated. Next, a 3 × 4 array of artificial electrochromic synapses is fabricated to display images of Braille numbers. For Braille recognition, the images are input to a diffractive deep neural network, an optical neuromorphic computing framework combining the principle of optical diffraction with deep learning. The recognition accuracy of Braille numbers 0~9 reaches 100%. The results imply that integrating artificial electrochromic synapses with optical neuromorphic computing provides a new direction for realizing low-cost, fast, and efficient multimodal artificial intelligence systems.

1. 引言

人工智能(Artificial Intelligence, AI)在医疗保健、金融服务、人机交互和智能决策[1]-[3]等众多领域有着广泛的应用。由于神经形态计算在大数据处理[4] [5]、迁移学习[6]-[9]、计算机视觉[10]-[14]等方面具有显著优势，因此被广泛应用于视觉感知[15]-[17]、智能语音系统[18]、生物医学图像处理[19] [20]等人工智能技术领域。然而，传统的电子神经形态计算面临着处理速度慢、能耗高和物理限制[21] [22]等瓶颈问题。相比之下，光学神经形态计算具有能耗低、信息传输速度快、抗干扰能力强等特点，在人工智能技术领域具有广阔的应用前景[23]。作为光学神经形态计算框架之一，将光学衍射原理与深度学习相结合的衍射深度神经网络(D²NN)在识别复杂图像方面表现出色，在人工视觉感知领域[24] [25]大有可为。然而，对于其他感知——识别力信号的人工触觉、识别化学信号的人工嗅觉和识别语音信号的人工听觉——电响应通常是从这些多模态信号[26] [27]转换而来。这些反应无法直接输入D²NN，因此为光学神经形态计算开发一种实现电光转换的设备至关重要。

最近，人工光电突触因其捕捉光学输入并将其转换为电子响应的独特能力，成为神经形态计算领域前景广阔的竞争者。在不同的光输入参数下，这些反应是可调的，并展示了一种学习经验(再学习过程比第一次学习过程更短)，从而最大限度地降低了电子神经形态计算的能耗。本文开发了一种相反路径的人工突触，以实现电信号的光学神经形态计算[28]-[31]。利用普鲁士蓝(Prussian Blue, PB)和氧化钨(Tungsten Oxide, WO₃)制造了人工电致变色突触。在不同的电压下，PB/WO₃电致变色器件的光学透射率响应可调。光学响应表现出典型的突触行为，包括短期记忆(Short-Term Memory, STM)、长期记忆(Long-Term Memory, LTM)和双脉冲易化(Paired-Pulse Facilitation, PPF)。接下来，本研究展示了一种将人工电致变色突触与D²NN相结合的光学神经形态计算策略，以实现对盲文编码电信号的识别。制作了一个3 × 4的突触阵列，并通过控制阵列像素上的电压值显示盲文数字0~9的图像。经过迭代训练后，基于D²NN的识别准确率达到100%，识别性能优于人工神经网络(Artificial Neural Network, ANN)。

2. 实验部分

2.1. 制备PB/WO₃人工电致变色突触

使用乙醇和去离子水对一块2.5 cm × 5.0 cm的掺氟氧化锡(Fluorine-Doped Tin Oxide, FTO)玻璃进行超声波清洗。将FTO玻璃与铂电极和饱和甘汞参比电极一起浸入含有0.01 M FeCl₃、0.01 M K₃ [Fe(CN)₆]和0.05 M KCl的水溶液中。然后，在0.05 mA的恒定电流密度下，将尺寸为2.4 cm × 4 cm的PB薄膜电沉积在FTO玻璃上300秒。然后，用去离子水冲洗掉PB薄膜上多余的溶液并自然干燥。将另一块清洗过的FTO玻璃与对电极和参比电极一起浸入含有0.005 M Na₂WO₄∙2H₂O、0.6 ml H₂O₂和1.0 ml浓HNO₃的水溶液中。在0.9 V的恒定电压密度下，将尺寸为2.4 cm × 4 cm的WO₃薄膜电沉积在FTO玻璃上300秒。接着，使用PB薄膜、WO₃薄膜以及0.5 M KCl和15% wt聚乙烯醇(PVA)在去离子水中的电解液组装了一个电致变色装置。

2.2. 制作电致变色突触阵列

使用波长为1064 nm的激光束蚀刻FTO玻璃基板，形成3 × 4的正方形阵列，尺寸为0.3 cm × 0.3 cm。方阵之间的水平和垂直间距分别为2.0毫米和1.0毫米。FTO玻璃的底边被蚀刻成12个0.1 cm × 0.6 cm的矩形。这12个电极通过宽度为0.3毫米的FTO折叠线与阵列像素相连。使用各向异性导电薄膜将12个电极与连接工作电极的铜箔粘合在一起。最后，在一块基板的12个像素上电沉积了PB薄膜，在另一块基板的12个像素上电沉积了WO₃薄膜。使用PB阵列、WO₃阵列和KCl/PVA电解质组装了一个设备。

2.3. 人工电致变色突触的表征

人工电致变色突触的表征。电极薄膜的晶体结构由Rigaku Smartlab X射线衍射仪(X-Ray Diffraction, XRD)进行测量。使用TESCAN MIRA扫描电子显微镜(Scanning Electron Microscopy, SEM)观察了形态。使用布鲁克Dimension Icon AFM采集了原子力显微镜(Atomic Force Microscope, AFM)图像。紫外–可见(Ultraviolet-Visible, UV-vis)分光光度计(SHIMADZU UV-2600i)记录了器件的光学透射率值。结合电化学工作站(Gamry Interface 1010B)，测量了不同电压下波长为661 nm的透射率变化。

基于D²NN神经形态计算的人工电致发光突触。为了生成盲文图像，3 × 4突触阵列上的相应像素在1.0 V电压下着色5秒钟。5,000幅盲文图像被随机分配，其中80%和20%分别作为训练集和测试集。D²NN网络框架由一个输入层、五个784神经元衍射层和一个检测器组成，用于手势识别。在衍射网络的训练过程中，使用误差反向传播方法进行了迭代调整。学习率为0.0005，训练损失函数为最大交叉熵(Softmax-Cross-Entropy, SCE)损失函数。为了证明识别适应效果，从美国国家标准与技术研究院(Mixed National Institute of Standards and Technology, MNIST)的混合数据集中选取了20,000张训练图像和10,000张测试图像，这些图像是0到9的手写数字，像素为28 × 28。在这些图像中加入了随机噪音。为了进行比较，还使用了一个具有一个输入层、两个神经元数分别为128和64的隐藏层以及一个输出层的ANN来处理盲文图像。使用Adam (学习率为0.0001)，通过梯度下降小批量(批量大小为10)最小化分类交叉熵损失。

3. 结果与讨论

3.1. 人工电致变色突触的光学神经形态计算原理

图1(a)显示了一个生物神经系统，其典型的突触结构由细胞体、轴突和树突组成。刺激脉冲会在神经元中产生突触反应。反应强度被定义为突触权重，不同输入刺激下的权重变化称为突触光塑性，它是大脑学习和记忆的基础。而利用PB和WO₃制备的人工电致变色突触，在电压刺激脉冲下会产生价态变化，从而产生光透射率的突触响应(图1(b))。接下来，研究制作了一个3 × 4的突触阵列，用于盲文数字识别的光学神经形态计算。从光电突触阵列收集到的电压控制透射率值被转换成代表盲文数字0~9的灰度图像，作为D²NN输入。输入盲文数字6的图像后，输出层上数字6区域的光强度最高，表示识别成功(图1(c))。

Figure 1. PB/WO₃ artificial electrochromic synapses for optical neuromorphic computing: (a) A biological nervous system with a typical synaptic structure; (b) Schematic of a PB/WO₃ artificial electrochromic synapse; (c) Principle of optical neuromorphic computing based on an artificial electrochromic synapse array; Braille numbers 0~9 are recognized using a D²NN

图1. 用于光学神经形态计算的PB/WO₃人工电致变色突触：(a) 具有典型突触结构的生物神经系统；(b) PB/WO₃人工电致变色突触示意图；(c) 基于人工电致变色突触阵列的光学神经形态计算原理；使用D²NN识别盲文数字0~9

3.2. PB/WO₃电致变色器件的光学特性

PB和WO₃薄膜沉积在用于人工电致变色突触的FTO基底上。图2(a)和图2(b)显示了PB和WO₃薄膜的截面SEM图像，厚度分别为480 nm和580 nm。图2(c)显示了FTO玻璃和FTO玻璃上PB薄膜的XRD图样。在FTO图样中，所有峰都属于SnO₂的四方相(JCPDS证号46-1088)。当PB沉积在FTO上时，在16.71˚、25.05˚和35.51˚出现了三个峰，分别属于立方体Fe₄ [Fe(CN)₆]₃ (JCPDS证号01-0239)的(100)、(110)和(200)面。如图2(d)的原子力显微镜图像所示，PB薄膜由巨大的纳米颗粒组成。纳米颗粒之间形成的纳米通道增加了表面积，有利于离子的插层和萃取。WO₃薄膜的XRD图谱在27˚处显示出一个宽峰，表明纳米颗粒形态为非晶态(图2(e))，图2(f)显示WO₃薄膜表面由纳米颗粒组成，颗粒分布较均匀。

Figure 2. Characterization of PB/WO₃ electrochromic devices: (a) A cross-section SEM image of a PB film; (b) A cross-section SEM image of a WO₃ film; (c) XRD patterns of FTO glass and a PB film on a FTO glass; (d) An AFM image of a PB film; (e) A XRD pattern of a WO₃ film; (f) An AFM image of a WO₃ film

图2. PB/WO₃电致变色器件的表征：(a) PB薄膜的横截面SEM图像；(b) WO₃薄膜的横截面SEM图像；(c) FTO玻璃和FTO玻璃上PB薄膜的XRD图；(d) PB薄膜的原子力显微镜图像；(e) WO₃薄膜的XRD图样；(f) WO₃薄膜的原子力显微镜图像

图3(a)显示了PB/WO₃器件在1.2、1.0、0.8、0.6、0.4和−2.2 V不同电压下的透射率光谱。当电压从0.4 V变为−2.2 V时，透射率显著增加，颜色急剧变为白色。在波长为661纳米时，最大透射率调制为77%。电致变色现象是由施加电压时离子价态的可逆转变引起的。首先，电压会根据化学反应方程驱动PB和普鲁士白(Prussian White, PW)之间发生可逆反应[32] [33]：

${\text{Fe}}_{\text{4}}{}^{\text{3+}}{\left[{\text{Fe}}^{2+}{\left(\text{CN}\right)}_6\right]}_3\left(\text{colored}\right)+4{\text{K}}^{\text{+}}+4{\text{e}}^{-}\leftrightharpoons {\text{K}}_{\text{4}}{\text{Fe}}_{\text{4}}{}^{2+}{\left[{\text{Fe}}^{\text{2+}}{\left(\text{CN}\right)}_6\right]}^3\left(\text{bleached}\right)$ (1)

其次，电压还能诱导深蓝色的五价钨和浅蓝色的六价钨之间发生化学反应方程式的转换[34]：

${\text{xK}}^{+}+{\text{xe}}^{-}+{\text{WO}}_3\leftrightharpoons {\text{K}}_{\text{x}}{\text{WO}}_{\text{3}}$ (2)

为了测量PB/WO₃电致变色装置的开关时间和周期寿命，在方波电压(−2.2 V，6.5 秒；1.2 V，16.5 秒)下监测661纳米波长处的透射率变化，共100个周期。切换时间定义为最大透射率调制变化90%所需的时间。如图3(b)所示，着色和漂白时间分别为11秒和5秒。经过100个周期后，透射率值几乎保持不变，这意味着稳定性极佳。

Figure 3. Performance of PB/WO₃ electrochromic devices: (a) Transmittance spectra of the PB/WO₃ device under different voltages of 1.2, 1.0, 0.8, 0.6, 0.4, and −2.2 V; (b) 661 nm transmittance changes once the device is bleached and colored for 100 cycles

图3. PB/WO₃电致变色器件的特性图：(a) PB/WO₃器件在1.2、1.0、0.8、0.6、0.4和−2.2 V不同电压下的透射光谱；(b) 器件漂白和着色100个周期后，661纳米透射率的变化

3.3. PB/WO₃电致变色器件的突触透射响应

Figure 4. Synaptic transmittance responses of PB/WO₃ electrochromic devices: (a) Transmittance changes under a voltage pulse of −2.2 V with durations and a pulse of 1.0 V; (b) Transmittance changes under a voltage pulse ranging from −1.9 to −2.2 V for 8 s and a pulse of 1.0 V; (c) Images of a “USST” letter pattern under various stimulation durations and voltages. The pixel grayscale is derived from normalized transmittance change; (d) (e) Transmittance changes of the PB/WO₃ device under intervals between the two stimulations of 0.2 and 0.4 s. The stimulation voltage is −2.2 V and the interval voltage is 1.0 V. (f) Relationship between PPF ratio values and interval durations

图4. PB/WO₃电致变色器件的突触透射率响应：(a) 在−2.2 V的电压脉冲持续时间和1.0 V脉冲下的透射率变化；(b) 在−1.9至−2.2 V的电压脉冲持续8秒和1.0 V脉冲下的透射率变化；(c) 不同刺激持续时间和电压下的“USST”字母图案图像，像素灰度来自归一化透射率变化；(d) (e) 两次刺激间隔为0.2秒和0.4秒时PB/WO₃器件的透射率变化。刺激电压为−2.2 V，间隔电压为1.0 V；(f) PPF比值与间隔时间的关系

PB/WO₃电致变色器件在电压刺激下的透射响应可以模拟突触行为。生物突触的记忆可分为STM和LTM。在高强度和长时间的刺激下，它可以转化为LTM。图4(a)显示了在不同持续时间的−2.2 V电压脉冲和1.0 V脉冲下661纳米波长的透射率响应。随着持续时间的增加，透射率的增强变得明显，表明已从STM过渡到LTM。当电压从−1.9 V上升到−2.2 V，而持续时间保持不变时，透射率响应增强(图4(b))。这些结果表明，可以通过调整刺激持续时间和电压来调整器件记忆。为了进一步研究可调记忆，“USST”字母图案(上海理工大学的缩写)作为输入刺激。像素灰度来自归一化透射率变化。图4(c)展示了不同刺激持续时间和电压下的字母图案。随着刺激时间持续地增加和电压逐渐接近−2.2 V，对应的透过率越来越高，字母图案变得更加明显。

PPF是生物突触的另一种典型行为，即第二次刺激比第一次刺激引起更高的反应，装置的透射率反应成功地模拟了这一行为。图4(d)和图4(e)展示了PB/WO₃器件在两次刺激间隔为0.2秒和0.4秒时的透射率变化。A1和A2分别表示第一和第二个电压脉冲下的透射率变化。在所有时间间隔内，PPF比值A2/A1 [35]都高于1。图4(f)说明了PPF比值与间隔时间之间的关系，表明间隔时间越短，PPF比值越高。拟合图显示，PPF比率与区间持续时间呈双指数函数关系、

$\text{PPF ratio}=\left[{\text{B}}_0+{\text{B}}_1\exp \left(-\frac{\Delta \text{t}}{{\text{τ}}_1}\right)+{\text{B}}_2\exp \left(-\frac{\Delta \text{t}}{{\text{τ}}_2}\right)\right]\times 100\text{\%}$ (3)

参数B1和B2代表促进幅度，而τ1和τ2分别表示指数函数的快衰减时间和慢衰减时间。对于图3(f)中的实验数据，通过拟合程序确定τ1和τ2的值分别为0.0078秒和0.61秒，准确地模拟了观察到的突触行为。

3.4. PB/WO₃电致变色阵列上显示盲文数字

Figure 5. Display of braille numbers on a PB/WO₃ electrochromic array: (a) Braille character charts for numbers 0~9; (b) Photos of PB/WO₃ arrays displaying braille numbers 0~9; (c) Transmittance values of each pixel of the array displaying braille number 6; (d) A greyscale image for braille number 6 converted from the transmittance values; (e) D²NN-based recognition of the greyscale image for braille number 6

图5. 在PB/WO₃电致变色阵列上显示盲文数字：(a) 0~9数字的盲文字符图；(b) 显示0~9盲文数字的PB/WO₃阵列图片；(c) 显示盲文数字6的阵列每个像素的透射值；(d) 根据透射率值转换的盲文数字6的灰度图像；(e) 基于D²NN的6号盲文灰度图像识别

为了演示光学神经形态计算，我们制作了一个3 × 4 PB/WO₃电致变色阵列，用于识别0~9盲文数字(图5(a))。对于盲文数字6，7个像素在1.0 V的刺激下着色，而其他5个像素在−2.2 V的刺激下着色。因此，可以显示盲文数字0~9 (图5(b))。测量每个像素的透射值。对于盲文数字6，12个像素中有7个像素的透射率较低(图5(c))。接着，将12个透射值转换成3 × 4的灰度图像。每个图像像素的灰度值通过以下公式计算得出：

$G=255\times \left(100-T\right)$ (4)

其中G是灰度，T是透射率百分比。盲文数字6的灰度图像如图5(d)所示。这些图像具有不同的灰度值，可用作光学神经形态计算的输入(图5(e))。通过基于D²NN的识别，检测器阵列输出层的相应区域显示出最高的光强度。

Figure 6. D²NN-based braille number recognition using a PB/WO₃ electrochromic array. (a) Recognition accuracies under various noises within 50 epochs; (b)~(e) Confusion matrix at the 50th epoch under different noise deviations of 0, 0.004, 0.005, and 0.006, respectively. (f)~(i) Output distribution images and values at the 50th epoch once the image for braille number 6 under different noise deviations of 0, 0.004, 0.005, and 0.006, respectively

图6. 使用PB/WO₃电致变色阵列进行基于D²NN的盲文数字识别：(a) 50个时程内各种噪声下的识别准确率；(b)~(e) 分别为不同噪声偏差0、0.004、0.005和0.006时第50次计时的混淆矩阵；(f)~(i) 分别为输入不同噪声偏差0、0.004、0.005和0.006的盲文6号图像后，第50个时程的输出分布图像和数值

使用电致变色突触阵列进行基于D²NN的盲文数字识别。与人工神经网络不同，D²NN利用光学传输、信号处理和计算进行人工智能识别，提供了一种能耗低、处理速度快的独特光学途径[36]。基于D²NN的盲文数字识别生成了5000组0~9盲文数字图像，其中4000组随机选作训练数据集，其余1000组分配给测试数据集。测试数据集添加了不同标准偏差的高斯噪声。识别准确率如图6(a)所示，在第二次训练时达到100%。一旦应用偏差为0、0.004、0.005和0.006的噪声，在第50次训练时的准确率分别为100%、93%、88%和80%。图6(b)~(e)所示的混淆矩阵支持了高准确率。图6(f)~(i)显示了输入不同标准差噪声下盲文数字6图像后的输出分布图像和数值。由于D²NN输出层数字6区域的输出强度最高，因此D²NN成功识别了该数字。

4. 总结

本研究成功地制造出了PB/WO₃人工电致变色突触，通过改变电压脉冲实现了对透光率的调制。当电压从1.2 V波动到−2.2 V时，透射率值会增加，波长为661 nm的最大调制率为77%。在电压脉冲下，成功模拟了包括STM、LTM和PPF在内的突触行为。接下来，研究将人工电致变色突触与D²NN结合起来，实现盲文识别。通过构建一个3 × 4的突触阵列，并记录每个突触在电压作用下的透射率，就能显示盲文数字的图像。经过50次D²NN训练后，盲文数字0~9的识别准确率达到100%。这一成果展示了光学神经形态计算的高性能，为未来的多模态人工智能识别应用奠定了坚实的基础。

NOTES

^*通讯作者。