基于矩阵优化填充和结构性先验统计信息的气象数据恢复
Meteorological Data Restoration Based on Matrix Completion and Prior Features
DOI: 10.12677/SA.2018.72024, PDF,    国家自然科学基金支持
作者: 徐冠雷*:海军大连舰艇学院航海系,辽宁 大连;大连理工大学电子信息与电气工程学部,辽宁 大连;王孝通, 周立佳, 邵利民:海军大连舰艇学院航海系,辽宁 大连;徐晓刚:大连理工大学电子信息与电气工程学部,辽宁 大连
关键词: 低秩矩阵矩阵填充奇异值阈值化算法先验统计特征Low Rank Matrix Matrix Completion SVT (Singular Value Thresholding) Algorithm Prior Fea-ture
摘要: 由于观测手段和观测背景的限制,再加上环境复杂,很多时候只有部分气象观测资料可用,为了在这种背景下进行气象预报,充分完备的气象资料是重要基础,因此基于零散的部分观测数据、先验数据的统计特征和矩阵优化填充技术的气象资料恢复研究具有重要的工程价值和数学意义,其研究在国内外尚属空白。本文旨在通过部分观测资料,充分利用矩阵的低秩性和气象观测数据的内在结构性先验统计信息,应用矩阵填充的奇异值阈值化SVT算法,优化分析得到欠缺数据,从而获得填充的补全数据。实验结果表明,基于结构性先验信息和矩阵优化填充方法得到的数据准确率明显取决于矩阵格式选择和气象数据本身特性,而且本文通过理论和实验分析出最佳的矩阵优化填充模型,表明当可利用的资料占比高于临界采样率时,数据填充误差可控制在10%以内,可以有效地解决预报和分析时的观测资料数据缺失不全的问题。
Abstract: Because of the limitation of observation means and background, combined with the complex environment, only some observation data are available. For the sake of better weather forecast, the research of meteorological data restoration based on part of observation data and matrix completion would have important scientific significance. This paper aims to, through part of real-time observation data, according to the low rank of a matrix, with applying SVT (Singular Value Thresholding) algorithm of matrix completion, obtain the deficient data so that one can make weather forecast better. The experimental result shows that the accuracy of forecast with matrix completion method is obviously higher than that with classical statistical method. When available data proportion is higher than the critical sampling proportion, errors of data filling can be controlled within 10%, which meet the requirements of meteorological data.
文章引用:徐冠雷, 王孝通, 周立佳, 邵利民, 徐晓刚. 基于矩阵优化填充和结构性先验统计信息的气象数据恢复[J]. 统计学与应用, 2018, 7(2): 192-209. https://doi.org/10.12677/SA.2018.72024

参考文献

[1] 朱乾根. 天气学原理和方法[M]. 南京: 南京气象出版社, 1992.
[2] 刘园园. 快速低秩矩阵与张量恢复的算法研究[D]: [博士学位论文]. 西安: 西安电子科技大学, 2013.
[3] 王萍, 蔡思佳, 刘宇. 基于随机投影技术的矩阵填充算法的改进[J]. 计算机应用, 2014, 34(6): 1587-1590.
[4] Donoho, D.L. (2006) Compressed Sensing. IEEE Transactions on Information Theory, 52, 1289-1306. [Google Scholar] [CrossRef
[5] 王会敏. 矩阵填充理论及其研究进展[J]. 绍兴文理学院学报, 2013, 33(7): 22-24.
[6] 黄嘉佑. 气象统计分析与预报方法[M]. 北京: 气象出版社, 2004.
[7] 王卓峥, 贾克斌. 矩阵填充与主元分析在受损图像配准中的应用[J]. 北京: 北京工业大学, 2013.
[8] Cai, J.F., Candes, E.J. and Shen, Z.W. (2010) A Singular Value Thresholding Algorithm for Matrix Completion. SIAM Journal on Optimizatinon, 20, 1956-1982.
[9] Ma, S., Goldfarb, D. and Chen, L. (2008) Fixed Point and Bregman Iterative Methods for Matrix Rank Minimization. Technical Report.
[10] 王永曦. 矩阵填充应用于文本分类的一些探索[D]: [硕士学位论文]. 北京: 清华大学, 2012.
[11] 郭慧杰, 赵保军. 基于矩阵填充的小波图像压缩算法[J]. 系统工程与电子技术, 2012, 34(9): 1930-1933.
[12] 孟繁驰, 李书琴, 蔡骋基. 基于核范数凸优化的微阵列缺失点重建[J]. 计算机工程与设计, 2013, 34(2): 660-664.
[13] Keshavan, R.H., Montanari, A. and Sewoong, O.H. (2010) Matrix Completion from a Few Entries. IEEE Transactions on Information Theory, 56, 2980-2998. [Google Scholar] [CrossRef
[14] Benjamin, R. (2009) A Simpler Approach to Matrix Completion. Journal of Machine Learning Research, 12, 3413-3430.
[15] 彭义刚, 索津莉, 戴琼海, 徐文立. 从压缩传感到低秩矩阵恢复:理论与应用[J]. 自动化学报, 2013, 39(7): 981-994.
[16] Xu, G., Wang, X., Xu, X. and Zhou, L. (2016) Entropic Uncertainty Inequalities on Sparse Representation. IET Signal Processing, 10, 413-421. [Google Scholar] [CrossRef
[17] 徐冠雷, 王孝通, 周立佳, 邵利民, 刘永禄, 徐晓刚. 广义测不准原理中的数学问题研究[J]. 应用数学进展, 2016, 5(3): 536-559.
[18] Xu, G., Wang, X., Xu, X., Zhou, L. and Liu, Y. (2017) Unified Framework for Multi-Scale Decomposition and Applications. IET Journal of Engineering, 2017, 577-588.