两种优化小波阈值算法对紫外可见光谱的水质COD数据去噪研究

Study on Denoising of UV-VIS Spectrum Water Quality COD Data by Two Optimized Wavelet Threshold Algorithms

摘要: 本文主要检测水质COD数据，对数据进行去噪处理，为建立预测水质COD模型提供数据预处理奠定基础。紫外可见光谱检测水质COD数据系统易产生光学仪器本身和外界散射光的噪声影响，得到光谱数据存在不必要的噪声。为开展去噪效果评价，实验稀释了COD浓度为20 mg/L的邻苯二甲酸氢钾溶液来得到了30组水质COD光谱数据，将六种算法去噪效果相互对比，得出灰狼优化小波阈值算法更适合用于去除水质COD数据噪声的结论。为了验证两种优化算法去噪的可行性，采集某内陆河地表水质COD光谱数据进行实例去噪分析。比较两种优化算法的去噪参数评价，灰狼优化小波阈值算法能更好抑制了噪声和提高了系统检测精度，为紫外可见光谱法的水质COD数据的去噪处理提供了一种全新的解决办法，证明了两种优化小波阈值算法适用于地表水质COD数据去噪分析的可行性。

Abstract: This paper mainly detects the COD data of water quality and denoises the data, which lays a foundation for data preprocessing to establish the COD model for predicting water quality. The UV-VIS spectrum detection water quality COD data system is easy to produce the noise influence of the optical instrument itself and the external scattered light, and there is unnecessary noise in the spectral data. In order to evaluate the denoising effect, 30 groups of water quality COD spectral data were obtained by diluting the potassium hydrogen phthalate solution with COD concentration of 20 mg/L. The denoising effects of the six algorithms were compared with each other, and it was concluded that the gray wolf optimized wavelet threshold algorithm was more suitable for removing the noise of water quality COD data. In order to verify the feasibility of the two optimization algorithms, COD spectral data of surface water quality of an inland river were collected for example denoising analysis. Comparing the denoising parameter evaluation of the two optimization algorithms, the gray wolf optimized wavelet threshold algorithm can better suppress the noise and improve the detection accuracy of the system. It provides a new solution for the denoising of water quality COD data by UV-VIS spectroscopy, and proves that the two optimized wavelet threshold algorithms are suitable for the denoising analysis of surface water quality COD data.

1. 引言

水源安全关乎人类生存安全，发展经济的同时带来了严重的水体环境污染，未经处理废水和污水排入地表水会加重水体净化负担。检测水质环境是治理所有水体污染繁杂工作的关键，测定水质环境要检测出水质环境中各项目指标，水质中指标 [1] 包含色度、浊度FTU、酸碱度PH、生化需氧量BOD、化学需氧量COD、电导率和总有机碳TOC等。本文主要开展检测水质中COD含量，化学需氧量是指待测水质中需要被氧化的还原性物质量，测定COD含量便知道水质受到不同轻重程度的污染。本文以《地表水环境质量标准》(GB 3838-2002)为标准，分析检测地表水COD数据的去噪效果，为提高地表水污染治理奠定基础。

紫外可见光谱法比以传统化学方法为代表的检测水质COD方法更具有检测速度快、无二次污染和操作便捷等优点，被广泛用在农产品 [2]、微生物数量 [3]、矿物石 [4] 和药材 [5] 鉴定等检测领域。在建立紫外可见光谱检测水质COD数据系统中，存在自然环境干扰、电路接口信号衰减、光电仪器和光学系统等因素产生光谱数据噪声 [6] [7]，影响水质光谱数据的正确分析。对建立水质COD预测模型前，先要进行光谱数据去噪处理来提高分析数据的精度。如何通过算法搜寻全局最优阈值便是去噪研究的核心环节，仅凭单一方法难以完成这项工作，故本文采用蚁群觅食行为和灰狼狩猎方式的算法来优化小波阈值。

各种优化算法在预测模型方面应用较多，对紫外可见光谱水质COD数据的去噪研究应用较少。基于此，本文提出两种优化算法搜寻最优小波阈值的去噪方法，先进行光谱数据去噪，并与中值滤波、均值滤波、滑动平均、小波阈值作对比分析。实验结果表明，自适应全局搜寻最优阈值能体现出针对光谱数据卓越的去噪效果。

2. 两种算法优化小波阈值去噪原理

2.1. 蚁群优化算法原理

蚁群优化算法(Ant Colony Optimization, ACO)是一种蚂蚁群获取食物而找寻最短路径的智能启发式搜索算法，成千上万的蚂蚁组成庞大团队留下独特的信息传递标记——信息素。唐标 [8] 等用优化型蚁群算法对智能巡检机器人最优行走路径进行电力设备故障图片的识别。Wang Qingyang [9] 等采用连续蚁群算法多次迭代选择影像最优镶嵌接缝线网络，节省了生成数据集时间。

ACO算法原理 [10] 是计算蚂蚁选择下个城市的概率和走完每个城市边缘信息素增量两个关键参数，其表达式为：

$P_{i,j}^n\left(m\right)=\{\begin{array}{l}\frac{T_{i,j}^x\left(m\right)\cdot {\lambda }_{i,j}^y\left(m\right)}{{\displaystyle \underset{s\in allowe{d}_n}{\sum }{T}_{i,s}^n\left(m\right)\cdot {\lambda }_{i,s}^y}},j\in allowe{d}_n\\ 0,\text{otherwise}\end{array}$ (1)

式中： $T_{i,j}^x\left(m\right)$ 是i、j城市间 $e_{i,j}$ 边信息素因数， ${\lambda }_{i,j}^y\left(m\right)$ 为i、j城市间能见度因数。信息素启发因子x和期望因子y表示信息重要程度和城市间距离程度。

$\{\begin{array}{l}{T}_{ij}\left(t,t+1\right)=\rho T_{ij}\left(t\right)+\Delta T_{ij}\left(t,t+1\right)\\ \Delta T_{ij}\left(t,t+1\right)={\displaystyle \underset{n=1}{\overset{m}{\sum }}\Delta T_{ij}^m\left(t,t+1\right)}\end{array}$ (2)

其中： $\Delta T_{ij}^k\left(t,t+1\right)$ 是蚂蚁n对边 $e_{ij}$ 上信息素贡献增量， $\Delta T_{ij}\left(t,t+1\right)$ 表示所有蚂蚁通过边 $e_{ij}$ 对边 $e_{ij}$ 累积的信息素贡献量。

2.2. 灰狼优化算法原理

灰狼 [11] 狩猎的过程主要有三个方面：追踪和接近猎物、包围猎物、攻击猎物。灰狼优化算法(Grey Wolf Optimization, GWO)原理 [12] 如下：现有灰狼a、b、c、d，a狼位置代表最佳位置，也GWO算法求全局最优解问题相对应，b狼位置表示GWO算法中的次级优解，c狼位置在GWO算法中表现为第三优解，d狼位置根据前面三狼所占位置后更替自己位置。若灰狼种群数为N，种群集合为V维，则包围猎物行为按如下两式定义：

$\{\begin{array}{l}V=\left|X_e^w\left(m\right)-W\cdot X_f^w\left(m\right)\right|\\ X_e^w\left(m+1\right)=X_e^w\left(m\right)-UV\end{array}$ (3)

式(3)表示计算灰狼捕猎距离和计算灰狼捕猎位置，为迭代次数，猎物位置为，为灰狼当前位置，表示灰狼接近猎物或远离猎物的收敛因子，代表灰狼捕食猎物过程中受到外界干扰。灰狼改变位置计算式为：

$\{\begin{array}{l}{X}_{e,a}^w\left(m+1\right)=X_a^w\left(m+1\right)-U_1\cdot \left|X_e^w\left(m\right)-W_1\cdot X_a^w\left(m\right)\right|\\ X_{e,b}^w\left(m+1\right)=X_b^w\left(m+1\right)-U_2\cdot \left|X_e^w\left(m\right)-W_2\cdot X_b^w\left(m\right)\right|\\ X_{e,c}^w\left(m+1\right)=X_c^w\left(m+1\right)-U_3\cdot \left|X_e^w\left(m\right)-W_3\cdot X_c^w\left(m\right)\right|\\ X_e^w\left(m+1\right)=\frac{X_{e,a}^w\left(m+1\right)+X_{e,b}^w\left(m+1\right)+X_{e,c}^w\left(m+1\right)}{3}\end{array}$ (4)

式(4)表示替换前四头灰狼的当前位置，用灰狼优化算法对紫外可见光谱水质数据进行全局寻优得到最优小波阈值。

3. 采集数据实验

为证明蚁群优化小波阈值算法(ACOWT)和灰狼优化小波阈值算法(GWOWT)在紫外可见光谱数据方面的去噪可行性，实验采用Sarspec LS-DWHP大功率氘卤灯光源和Maya-2000PRO光谱仪组成采集系统来测量COD浓度为20 mg/L的邻苯二甲酸氢钾标液，总量为3 ml去离子水按等量均分为30组，每次均匀加入10 μl去稀释邻苯二甲酸氢钾标液。在收集邻苯标液光谱数据中基础上加入高斯白噪声，实现去噪效果对比分析。图1中四幅图片分别为30组邻苯标液光谱图、某内陆河水质COD光谱图、ACOWT算法对30组邻苯标液去噪图、GWOWT算法对30组邻苯标液去噪图。

Figure 1. Experimental data acquisition diagram and denoising diagram

图1. 实验数据采集图与去噪图

4. 结果与分析

与传统算法进行去噪对比后，GWOWT算法和ACOWT算法不仅能有效去除噪声，还能保存光谱数据细节信息。为更好评价各种算法引入了信噪比SNR、峰值信噪比PSNR、标准偏差STD和均方差MSE，信噪比和峰值信噪比越大，就说明了该算法的去噪质量好，标准偏差和均方差越小，就证明了该算法的去噪能力强。其表达式为：

$\{\begin{array}{l}\text{PSNR}=10\lg \frac{M\cdot X_{\max }^2\left(i\right)}{{\displaystyle \underset{i=1}{\overset{N}{\sum }}{\left[X_{sf}\left(i\right)-\overline{X\left(i\right)}\right]}^2}}\\ \text{STD}=\sqrt{\frac{{\displaystyle \underset{i=1}{\overset{N}{\sum }}\left|X_{sf}\left(i\right)-\overline{X\left(i\right)}\right|}}{N-1}}\end{array}$ $\{\begin{array}{l}\text{SNR}=10\lg \frac{{\displaystyle \underset{i=1}{\overset{N}{\sum }}{X}_{sf}^2\left(i\right)}}{{\displaystyle \underset{i=1}{\overset{N}{\sum }}{\left[X_{sf}\left(i\right)-\overline{X\left(i\right)}\right]}^2}}\\ \text{MSE}=\sqrt{\frac{{\displaystyle \underset{i=1}{\overset{N}{\sum }}{\left[X_{sf}\left(i\right)-\overline{X\left(i\right)}\right]}^2}}{N}}\end{array}$ (5)

式中： $X_{sf}\left(i\right)$ 、 $X_{\max }\left(i\right)$ 、 $\overline{X\left(i\right)}$ 分别为去噪后的数据、样本去噪前的最大数据和每个样本数据的平均值，M、N分别为一组数据的长度和样本总量。表1对每种算法进行去噪效果对比。

Table 1. Analysis of denoising effect of 30 groups of water quality COD data of o-benzene standard solution

表1. 邻苯标液30组水质COD数据去噪效果分析

如表1所示，GWOWT算法对于紫外可见光谱数据体现出卓越的去噪效果，与中值滤波算法、均值滤波算法、滑动平均算法、小波阈值算法、ACOWT算法比较，GWOWT算法的信噪比提高了11.441758、11.697999、16.300198、13.272123、1.260904 dB，标准偏差减少了0.013487、0.013750、0.025612、0.017065、0.000707，峰值信噪比提高了5.442717、4.698958、6.301157、3.273082、1.261863 dB，均方差降低了0.000331、0.000341、0.000935、0.000480、0.000008。GWOWT算法抑制了较多噪声也保留了光谱特征信息，误差进一步得到压减。不难得出，基于灰狼优化算法的小波阈值去噪方法更适用于紫外可见光谱水质COD数据的去噪分析。

Figure 2. Comparison of denoising effects of two optimization algorithms for an inland river

图2. 某内陆河采用两种优化算法去噪效果对比

图2是两种优化算法对某内陆河水质的光谱COD数据去噪效果图，某内陆河水在光谱波段500~1000 nm之间存在大量跳变不稳定噪声，ACOWT算法虽有效去除噪声但也丢失了部分光谱数据的细节特征，GWOWT算法有效抑制了噪声和未产生光谱数据失真现象，保留了细节光谱数据特征。表2中GWOWT算法的信噪比和峰值信噪比更高，标准偏差和均方差更小，证明了两种优化算法用于去噪的实用性，也说明了GWOWT算法更适合用于地表水质数据的噪声预处理。为建立水质COD预测模型提供良好的模型输入数据，能进一步分析水体COD含量和治理水污染提供检测支撑。

Table 2. Denoising analysis of COD data of surface water quality by two optimization algorithms

表2. 两种优化算法对地表水质COD数据的去噪分析

5. 结论

紫外可见光谱采集系统的水质光谱COD数据中含有噪声，针对小波阈值去噪不符合预期效果的问题，提出两种优化小波阈值算法，主要结论为：

1) 对邻苯标液标液在加入高斯白噪声基础上后进行去噪。采用了信噪比、峰值信噪比、标准偏差和均方差的四个量化指标来评价每个算法的去噪效果，结果表明了灰狼优化小波阈值算法对30组邻苯溶液的去噪效果好于其他五种去噪算法，也证实了灰狼优化小波阈值算法可用于地表水质的COD数据去噪的可行性。

2) 两种优化小波阈值算法在光谱特征信息得到保留的前提下，有效抑制了噪声。对采集的某内陆河水质进行去噪测试结果证实了灰狼优化小波阈值算法的良好去噪效果，为降低水质检测系统成本和提高检测速度提供新的解决办法。

参考文献