基于变分模态分解和多头注意力的锂电池寿命预测

Prediction of the RUL for Lithium Batteries Based on Variational Mode Decomposition and Multi-Head Attention

摘要: 锂离子电池被认为是迄今为止最高效的储能设备之一，以锂离子电池为核心的电动汽车凭借节能环保、经济实惠和安静舒适等特点受到了用户的喜爱，但随着电动汽车使用次数增加，因电池充放电所导致的车辆里程下降和电池使用安全问题越来越受到人们的关注。因此，本文提出了一种利用变分模态分解(VMD)和多头注意力机制(MHNN)的方法估算锂离子电池的健康状态(SOH)和剩余使用寿命(RUL)。该方法结合了VMD处理数据的优秀特性和MHNN提取不同变量之间交互作用的优势，解决了常规方法在遇到波动数据时预测不准确的问题，利用变模态分解(VMD)、网格搜索算法(GridSearch)，对MHNN的参数进行优化。实验结果表明，本文所提出的VMD-MHNN方法在预测锂离子电池剩余使用寿命时均优于传统神经网络模型，具有较高的鲁棒性和更加稳定的预测性能。

Abstract: Lithium-ion battery is considered as one of the most efficient energy storage devices so far. The electric vehicle with lithium-ion battery as its core has been very popular with users because of its energy conservation, environmental protection, economic benefits, quiet and comfortable charac-teristics. However, with the increase of the number of electric vehicles used, the reduction of vehicle mileage caused by battery charging and discharging and the safety problem of battery use have at-tracted more and more attention. Therefore, this paper proposes a method to estimate the state of health (SOH) and remaining useful life (RUL) of lithium-ion batteries using variational mode de-composition (VMD) and multi-head attention mechanism (MHNN). This method combines the excel-lent characteristics of VMD in processing data and the advantages of MHNN in extracting the inter-action between different variables, and solves the problem of inaccurate prediction of conventional methods when encountering fluctuating data. The parameters of MHNN are optimized using varia-ble mode decomposition (VMD) and grid search algorithm (GridSearch). The experimental results show that the VMD-MHNN method proposed in this paper is superior to the traditional neural net-work model in predicting the remaining service life of lithium-ion batteries, and has higher robust-ness and more stable prediction performance.

1. 引言

传统汽车由于其尾气排放和石油的消耗而对环境产生多种负面影响，因此研究人员提出了各种方法来控制传统汽车的排放和新的清洁燃料。随着锂离子电池的商业化应用，电化学储能技术飞速发展，便携式电子产品得到广泛应用 [1] [2] [3] 。电动汽车(EV)被视为传统汽车的可行替代品。政府和汽车行业在技术上专注于用电动汽车代替内燃机车辆。但是，电动汽车的电池组仍然需要显着改进，其中里程和安全是新能源汽车最关键的两个指标，里程的增加导致更严峻的安全挑战 [4] 。锂离子电池在充放电过程中会释放出大量的热量，加速电化学反应速度，从而导致电池的整体温升。当温升导致温度不均匀时，电池的寿命、性能和安全性将受到影响 [5] 。如今，由于锂电池充放电所导致的火灾事故频发 [6] ，这也成为了新型电动汽车在市场上大规模应用的主要障碍。因此，让电动汽车的操控者准确掌握电池充放电后剩余寿命预测，对降低电池事故发生的可能性，保证电动汽车安全运行至关重要。

常规预测电池寿命的方法包括实验测量法和基于模型测量法。其中实验测量法对电流传感器的精度、初始采样值和测量时电池工作温度要求很高，并不能跟随实验环境变化动态调整预测方程初始值，从而导致实际预测数值相较于真实预测数值偏差较大。而基于模型测量法，常使用卡尔曼滤波类算法(Kalman Filtering, KF) [7] [8] [9] 来实现对电池寿命的预测，这类算法可根据测量出的电压、电路和温度等数据动态反馈调整模型的状态从而有较好的估计精度。但是KF算法需要极为精确的模型参数作为模型支撑，同时容易受到噪声误差的影响，从而导致计算成本较高。

伴随着大数据时代的到来，以机器学习为核心的数据驱动研究已经广泛应用于各个领域。运用数据驱动模型对电池剩余寿命研究，是在电池剩余寿命的历史数据基础上，找到电池寿命衰减的前后映射关系，从而建立相关特征模型，最终实现电池剩余寿命的预测。其中主要的研究方法包括；支持向量回归(Support Vector Regression, SVR) [10] 方法，时间序列分析方法，长短期记忆神经网络(Long Short-Term Memory Network, LSTM) [11] ，循环神经网络(Recurrent Neural Network, RNN) [12] ，卷积神经网络(Convolutional Neural Networks, CNN) [13] ，双向循环神经网络(Bi-Directional Gated Recurrent Unit, BIGRU) [14] 分析方法等。采用数据驱动不仅可以使预测模型免受环境变动的影响，并且能够在较低计算成本上取得较高精度的估计结果。尽管上述的机器学习方法在应用于电池剩余寿命预测时，已经能实现较好的预测方法，但在遇到波动性较大的数据节点时，传统机器学习模型还是不能充分挖掘出所有数据信息，导致对这些节点的数据映射趋势预测出现较大的偏差，从而导致后续预测曲线的偏移。同时，由于受运行条件变化、环境噪声、测量误差等因素的影响，电池剩余寿命数据的序列分布非常复杂，波动较大。直接将机器学习方法应用于数据序列可能不会产生良好的预测结果。

为了解决上述问题，提高预测的精度和质量，本文提出一种变分模态分解(Variational Modal Decomposition, VMD)和多头注意力神经网络(Multi-Head Self-Feedback Attention Neural Network, MHNN)相结合的锂离子电池剩余寿命预测模型。采用信号分解的方法——变分模态分解(VMD)，可以降低时间序列的复杂性，然后对简单的分量进行单独预测，最后将分量预测结果结合在一起。变分模态分解(VMD)的模式分解层少于广泛使用的经验模态分解(EMD)，并且不会产生虚假的模态，能更真实地反映了信号的成分 [15] [16] 。基于注意力机制的Transformer神经网络在最近几年被广泛应用于自然语言处理领域，Transformer是一个基于多头注意力机制的模型，Attention可以解决RNN及其变体存在的长距离依赖问题，可以让模型更好地学习到序列数据全局时间上的特征和远程的依赖关系，注意力机制可以有更好的记忆力，能够记住更长距离的信息。因此近几年Transformer被许多学者用于其他领域，例如音频文件分类，时间序列预测。其核心注意力机制也被诸多文章运用于其他神经网络之中，例如BIGRU-Attention、LSTM-Attention、BILSTM-Attention等。

本文使用了其核心的多头注意力机制(MHNN)。MHNN能在VMD分解出的分量的基础上，采用多个注意力头，将分解出的分量映射到高维空间，通过叠加多个相互作用层，利用多头来提取各种因素的高维非线性和相互耦合特征，在经过多次迭代后找到最佳权重参数后，通过多层面反馈的不同信息给予每个注意头不同权重从而得到多个预测值，最后在子空间中进行合并运算得到预测结果。与常规机器学方法相比，采用MHNN学习不同影响因素之间的内在交互作用特征，建立高维复杂的拟合关系，MHNN可以学习特征交互，其中每个特征被允许与所有其他特征交互，并可以自动识别相关特征以形成有意义的高阶特征 [17] 。

2. 相关理论基础

在分解技术中，基于EMD的技术是自适应的，需要调整的参数较少。这些方法对噪声和采样更敏感，因此它们很容易分解，但不够充分。VMD作为一种新的、有效的分解技术，将原始电池寿命分解为多个子序列。

2.1. 变分模态分解原理

VMD是一种自适应非递归信号分解技术，能将非平稳信号分解为一系列本征模态函数(Intrinsic Mode Function, IMF)。其优点是在处理数据噪声和鲁棒分解序列时能快速地优化。VMD旨在将原始信号 $f\left(t\right)$ 分解为多个模态分量 $u_k,k=1,2,\cdots ,K$ ，每个模态分量具有中心频率 $u_k$ 。VMD的约束条件是每个模式的总和应等于原始信号。每个模态分量的频率带宽的最小和被视为目标函数。数学表达式如下：

$\{\begin{array}{l}\underset{\left\{u_k\right\},\left\{{\omega }_k\right\}}{\min }\left\{{{\displaystyle \underset{k=1}{\overset{K}{\sum }}\Vert {\partial }_t\left[\left(\delta \left(t\right)+\frac{j}{\pi t}\right)\ast u_k\left(t\right)\right]{\text{e}}^{-j{\omega }_{k}t}\Vert }}_2^2\right\},\hfill \\ \text{s}\text{.t}\text{.}{\displaystyle \underset{k=1}{\overset{K}{\sum }}{u}_k}\left(t\right)=f\left(t\right).\hfill \end{array}$ (1)

其中 $\delta \left(t\right)$ 表示Dirac分布。为了得出上述问题的最优解，应用拉格朗日乘数 $\lambda \left(t\right)$ 和二次惩罚项 $\alpha$ 将问题转化为无约束问题。使用 $\lambda \left(t\right)$ 是为了确保约束问题等同于无约束问题。 $\alpha$ 可以保证在存在高斯噪声的情况下，模态分量能够被准确地重建。无约束问题表示如下

$\begin{array}{c}L\left(\left\{u_k\right\},\left\{{\omega }_k\right\},\lambda \right):=\alpha {\displaystyle \underset{K}{\sum }{\Vert {\partial }_t\left[\left(\delta \left(t\right)+\frac{j}{\pi t}\right)\ast u_k\left(t\right)\right]{\text{e}}^{-j{\omega }_{k}t}\Vert }_2^2}+{\Vert f\left(t\right)-{\displaystyle \underset{k}{\sum }{u}_k}\left(t\right)\Vert }_2^2\\ +\langle \lambda \left(t\right),f\left(t\right)-{\displaystyle \underset{k}{\sum }{u}_k}\left(t\right)\rangle .\end{array}$ (2)

拉格朗日函数的鞍点是通过迭代 $u_k^{n+1},{\omega }_k^{n+1},{\lambda }^{n+1}$ 得出的。然后， ${\hat{u}}_k^{n+1},{\hat{\omega }}_k^{n+1}$ 可以分别由公式(3)和(4)更新。 $u_i\left(\omega \right),{\hat{u}}_k^{n+1}$ 和 $\hat{\lambda }\left(\omega \right),\hat{f}\left(\omega \right)$ 分别是 $u_i\left(t\right),u_k^{n+1},\lambda \left(t\right),f\left(t\right)$ 的傅里叶变换。

${\hat{u}}_k^{n+1}\left(\omega \right)=\frac{\hat{f}\left(\omega \right)-{\displaystyle \underset{i\ne k}{\sum }{\hat{u}}_i}\left(\omega \right)+\frac{\hat{\lambda }\left(\omega \right)}{2}}{1+2\alpha {\left(\omega -{\omega }_k\right)}^2},$ (3)

${\omega }_k^{n+1}=\frac{{\displaystyle {\int }_0^{\infty }\omega }{\left|{\hat{u}}_k\left(\omega \right)\right|}^2\text{d}\omega }{{\displaystyle {\int }_0^{\infty }{\left|{\hat{u}}_k\left(\omega \right)\right|}^2\text{d}\omega }}.$ (4)

以乘数交替方向法为基础，可由式(5)得到 ${\hat{\lambda }}^{n+1}\left(\omega \right)$ ， $\tau$ 表示更新后的参数。迭代的终止条件如下所示，其中 $\epsilon$ 表示精度。

${\hat{\lambda }}^{n+1}\left(\omega \right)={\hat{\lambda }}^n\left(\omega \right)+\tau \left[\hat{f}\left(\omega \right)-{\displaystyle \underset{k=1}{\overset{K}{\sum }}{\hat{u}}_k^{n+1}}\left(\omega \right)\right],$ (5)

${\displaystyle \underset{k=1}{\overset{K}{\sum }}\frac{{\hat{u}}_k^{n+1}-{\hat{u}}_{k2}^{n2}}{{\hat{u}}_{k2}^{n2}}}<\epsilon .$ (6)

VMD的最终输出是 $u_k^{n+1}$ ，它通过傅里叶变换由 $u_k^{n+1}\left(\omega \right)$ 的实部进行转换。剩余能量 $R_{res}$ 的比率用于确定VMD输出的适当数量。 $R_{res}$ 可以描述如下

$R_{res}=\frac{1}{N_s}{\displaystyle \underset{t=1}{\overset{N_s}{\sum }}\left|\frac{f\left(t\right)-{\displaystyle \underset{k=1}{\overset{K}{\sum }}{u}_k}\left(t\right)}{f\left(t\right)}\right|},$ (7)

其中 $f\left(t\right)$ 表示原始数据， $N_s$ 表示样本数，k表示分解后的模态分量的个数， $u_k\left(t\right)$ 表示分解后的模态分量， $R_{res}$ 必须在没有明显的下降趋势下来确定模式的数量。

2.2. 多头自反馈注意力神经网络原理

在给定输入数据X被处理之后，它被输入到多头注意力机制中，并且输入数据在该机制中建立依赖关系。 $Q,K,V$ 分别为查询量(query)、键(key)和值(value)。分配查询、键和值： $Q=K=V=X$ ，其中单头注意力计算矩阵的输出为：

$\mathrm{Attention}\left(Q,K,V\right)=\mathrm{softmax}\left(\frac{Q{K}^{\text{T}}}{\sqrt{d_k}}\right)V.$ (8)

多头自反馈注意力神经网络的工作机制是将查询向量与一组关键向量进行比较，以确定它们的兼容性。每个键向量都与一个值向量配对，并且给定键与查询的兼容性越大，相应的值对注意机制的输出的影响就越显著。从编码器初始嵌入层开始，对嵌入内容进行线性变换，提取关键特征和值向量。该序列的每个元素也提供了查询向量。计算查询和每个关键特征之间的点积，包括来自相同元素的关键字，称为点积关注度，从而产生一组非归一化的 $\alpha$ 权重向量： $\left({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n\right)$ 。为了将它们归一化并使结果在反向传播时能够获取平衡的梯度，此处将它们除以 $\sqrt{d_k}$ 维度，并将其传递到Softmax层：

$\left({\alpha }_0,{\alpha }_1,\cdots ,{\alpha }_n\right)=\left(\frac{\mathrm{softmax}\left({\alpha }_0,{\alpha }_1,\cdots ,{\alpha }_n\right)}{\sqrt{d_k}}\right),$ (9)

其中 $d_k$ 是缩放因子，通常是K矩阵的维数。多头部注意涉及在单个输入条件下来自不同表示子空间的信息。这一概念表达如下：

$\text{MultiHead}\left(Q,K,V\right)=\mathrm{Concat}\left(hea{d}_1,hea{d}_2,\cdots ,hea{d}_n\right).$ (10)

在经过多次迭代后找到最佳权重参数后，一旦权重被标准化，它们就可以用于向量值的线性变换中。此处，并不是执行包含键、值和查询的单个注意力函数，而是使用单独的线性投影将 $Q,K,V$ 线性投影到三个不同的子空间中。通过将注意力函数同时应用于 $Q,K,V$ 的投影形式，并在高维空间产生相对应的输出值。然后将h个注意力头的输出拼接并进行线性变换后实现预测值的输出。

$hea{d}_i=\text{Attention}\left(Q{W}_i^Q,K{W}_i^K,V_i^V\right),$ (11)

其中 $W_i^Q,W_i^k,W_i^v\in {ℝ}^{d_{\text{model}}\times d_k}$ ，并且 $W^{*}\in {ℝ}^{h{d}_v\times d_{\text{model}}}$ 为全连接层的权重。在本次研究中，我们设定 $d_k=d_v=d_{\text{model}}/h=8$ 。多头注意力允许模型同时注意来自多个位置的各种表示子空间的信息。因此相较于传统机器学习方法和单头注意力机制，MHNN能更好获取重要信息，从而迅速捕捉到电池剩余寿命波动信息，达到更好的预测效果。

2.3. 模型评价标准

该文提出的算法会对电池剩余寿命进行预测，并将其与真实数值进行比对。所以使用的评定方法为均方根误差(RMSE)、平均绝对误差(MAE)、平均绝对百分比误差(MAPE)和相对误差(RE)作为预测评分准确度指标。计算公式如下：

$\mathrm{RMSE}=\sqrt{\frac{1}{m}{\displaystyle \underset{i=1}{\overset{m}{\sum }}{\left(y_i-{\hat{y}}_i\right)}^2}},$ (12)

$\mathrm{MAE}=\frac{1}{m}{\displaystyle \underset{i=1}{\overset{m}{\sum }}{\left|y_i-{\hat{y}}_i\right|}^2},$ (13)

$\text{MAPE}=\frac{1}{m}{\displaystyle \underset{i=1}{\overset{m}{\sum }}\left|\frac{y_i-{\hat{y}}_i}{y_i}\right|},$ (14)

其中，i为测试集样本个数， $y_i$ 和 ${\hat{y}}_i$ 分别表示真实剩余寿命数值和预测预测所得剩余寿命。

3. VMD-MHNN模型设计

综合VMD在数据异常值过滤的优势和MHNN对关键信息提取的特点，本文将VMD与MHNN相结合来完成对电池剩余寿命的预测。首先通过VMD将各原始数据分为n个复杂度较低且相对平稳的IMF分量，然后将分解所得到的分量整理为新的子训练集，分别训练MHNN。

然后，将分解所得到的分量特征图以滑动窗口(slide = 32)的方式整理为新的子训练集，并按照一定的比例划分训练集和测试集，分别训练MHNN。通过训练模型得到MHNN的超参数。最后利用训练好的MHNN型对IMF分量进行预测，得到每一个IMF分量的预测值。最后将MHNN预测得到的各个IMF分量预测值按照多次迭代所得到的权重值叠加得到锂离子电池放电剩余容量预测值。该预测模型的框架如图1所示。使用VMD-MHNN能够深度挖掘电池数据特征，完成SOH估计。确保了特征提取的全面性。

Figure 1. Framework of VMD-MHNN prediction model

图1. VMD-MHNN预测模型框架

4. 实验结果对比分析

4.1. 实验数据描述和实验条件

本文电池数据集来自马里兰大学的CALCE研究中心(Center for Advanced Life Cycleengineering)，选取棱柱形电池(CS2电池)作为研究对象。所有CS2电池都经过相同的充电曲线，这是一个标准的恒流、恒压设定，恒流速率为0.5℃，直到电压达到4.2 V，然后持续4.2 V，直到充电电流降至0.05 A以下。这些电池的放电截止电压为2.7 V。本文选取的“CS2_35”、“CS2_36”、“CS2_37”、“CS2_38”均为电池在1℃的条件下循环多次，记录所得到的数据。软硬件有：CPU (intel Core i7-1065G71.3 GHz)、GPU (NVIDIAGeForce GTX 1650Ti 4 GB)、RAM (16 GB)，本实验所有数据都是基于Python语言所完成。

Figure 2. Capacity degradation at ambient temperature of 1˚C

图2. 环境温度为1℃时的容量衰减

从图2中可以看出，虽然电池类型和实验环境相同，但的容量随着循环次数的增加，四块电池均呈现出不同的非线性衰减波动趋势。

4.2. 实验结果分析

为了验证提出的VMD-MHNN锂离子电池SOH估算方法的优越性和鲁棒性，在相同的参数设置下，本文采用VMD-LSTM、VMD-RNN、VMD-CNN、VMD-GRU、VMD-BIGRU、VMD-Attention和VMD-CNN-LSTM七种常规结合方法作为对照研究。以CS2_36为例，首先通过VMD处理过的数据，结果见图3，每个子模式都接近平稳，基本已经有效地删除了波动和噪声。

通过图4可以很清晰地观察到每个分量所处频率段都不相同，分解效果良好。

从图5可以看出机器学习中的传统神经网络VMD-LSTM、VMD-RNN和VMD-CNN在200次循环之前都能较好地预测电池剩余寿命，当对着预测误差的累计，200次循环以后的预测误差逐渐增大，学习速率变慢，从而形成一个恶性循环，导致400次循环后真实值出现较大的偏离。而VMD-CNN-LSTM

Figure 3. Decomposition results of VMD of CS2_37 battery

图3. 电CS2_37池VMD具体分解结果

因为模型复杂度较高，对超参数较为敏感，随着各部部分预测误差的叠加，多种方法的结合反而造成了拟合效果的进一步下降。对于基于传统方法改进的三种模型VMD-GRU、VMD-BIGRU和VMD-Attention三个模型而言，VMD-GRU和VMD-BIGRU都门控含有循环神经网络，而VMD-Attention则含有前馈神经网络，这两种网络都能更好的捕捉数据种间隔较大的依赖关系，都能选择性地获取过去的数据，从而达到更好的预测效果。相较于传统神经网络模型，三个模型能有较大的提升，能较好地解决梯度衰减的问题。但是，在锂离子电池衰减的过程中会存在容量局部再生，本文所提出VMD-MHNN在能VMD-Attention的基础上更灵敏地挖掘到数据内的深层信息，从而捕捉到数据中的波动和整体趋势的走向，提高预测值与真实值的拟合程度，达到更好的预测效果。

Figure 4. VMD component spectrum of battery CS2_37

图4. 电池CS2_37 VMD分量频谱图

为了进一步说明VMD-MHSANN在锂离子电子剩余寿命预测中的优势，通过评价指标，分别在“CS2_35”、“CS2_36”、“CS2_37”、“CS2_38”四组电池上完成对比。每个模型的预测评价指标分别如表1、表2、表3和表4所示。在四组电池数据中，VMD-LSTM、VMD-RNN、VMD-CNN、VMD-CNN-LSTM、VMD-GRU、VMD-BIGRU和VMD-Attention七种模型的最大MAE分别为0.090、0.058、0.185、0.155、0.040、0.041和0.036，而本文所提出的VMD-MHNN最大MAE为0.023，相较于其他七种模型中预测效果最好的VMD-Attention提升幅度为36%，并且本算法的MAE、RMSE和MAPE指标均为各个电池测试组中的最低值，证明本文所提出的模型在各个电池有更好的预测效果。

Figure 5. SOH fitting diagram on CS2_37 battery with eight methods

图5. 八种方法在CS2_37号电池上的SOH拟合图

Table 1. Prediction results of CS2_35 battery

表1. CS2_35电池预测结果

Table 2. Prediction results of CS2_36 battery

表2. CS2_36电池预测结果

Table 3. Prediction results of CS2_37 battery

表3. CS2_37电池预测结果

Table 4. Prediction results of CS2_38 battery

表4. CS2_38电池预测结果

为了进一步挖掘本文所提出的电池的预测优势，本文进一步结合网格搜索算法(Grid Search, GS)并命名为GS-VMD-MHNN模型，该模型是通过训练集训练好VMD-MHNN模型后，再通过GS算法对隐藏层神经元个数进行寻优，最后在对测试集完成预测。神经网络模型的输入和输出层的节点数是固定的，选择合适的层数以及隐藏层节点数，在很大程度上都会影响神经网络的预测性能。并对寻优过程采用矩阵热力图对寻优过程进行可视化展示，其中X轴为第一层神经元的个数，Y轴为第二层神经元的个数，将模型的评价指标RMSE通过颜色深浅的深浅来展示，颜色越深的模型拟合效果越好。

搜索结果如图6所示，25是最优神经元个数，并将最优神经元个数带入四组电池中进行验证。验证结果如表5所示。根据实验结果表明，加入网格搜索算法后对所提出的模型具有一定的提升。

Table 5. Results of Verification

表5. 验证结果

Figure 6. Thermal diagram of grid search algorithm

图6. 网格搜索算法热力图

5. 结论

本文提出了一种新方法：基于GS-VMD-MHNN来预测锂离子电池的剩余使用寿命。该方法结合了VMD处理数据的优良特性和MHNN提取不同变量之间交互作用的优势，解决了常规方法在遇到波动数据时预测不准确的问题。经过结果分析和对比，本文所提出的方法优于常规机器学习结合方法。为了进一步提升模型的预测效果，本文还引入了GS方法来找到最优隐藏层神经元个数，极大提高对电池剩余寿命预测的精度。综上，将GS-VMD-MHNN方法移入电池剩余寿命预测，并将其用于电池寿命实时显示，具有较高的应用价值。

基金项目

冶金工业过程系统科学湖北省重点实验室(武汉科技大学)开放基金资助(Y202201)。