WRF模式计算效率的多因素影响机制及其优化方法研究
Research on the Multi-Factor Influence Mechanism of Computational Efficiency of WRF Model and Its Optimisation Methods
DOI: 10.12677/csa.2024.1411232, PDF, HTML, XML,    国家自然科学基金支持
作者: 杜江付*, 李瑞娟, 宁嘉泉, 买合木提江·维吉坦, 王露践, 白 磊#:海南大学生态学院,海南 海口;海南省热带生态环境修复工程研究中心(海南大学),海南 海口;张俊兵:山西省大气探测技术保障中心,山西 太原;施晨晓:海南省气象信息中心,海南省南海气象防灾减灾重点实验室,海南 海口
关键词: WRF计算时间水平分辨率垂直分辨率处理配置WRF Computation Time Horizontal Resolution Vertical Resolution Processing Configuration
摘要: 通过设置不同实验方案,运行WRF模型,分析结果文件来评估计算WRF所需的迭代时间受到的多种因素影响,如选取的网格大小,水平分辨率,垂直分辨率,处理配置,通过改变这些影响因素分析他们对WRF计算的时间和内存占用的影响。具体来说:较大的网格大小,较高的空间分辨率(水平方向与垂直方向)会显著增加计算所需的时间,而选取不同的处理配置只在较大的网格条件下才会有明显的影响。本文的研究为提高WRF模式的计算效率提供了理论依据和实践指导,对于类似大型并行应用的性能优化也具有一定的参考价值。
Abstract: By developing different experimental schemes and running the WRF model, this study analyzes the output files to evaluate the impact of various factors on the iteration time required for WRF computations, such as the selected grid size, horizontal resolution, vertical resolution, and processing configuration. By altering these factors, the study analyses their effects on computation time and memory usage. Specifically, larger grid sizes and higher spatial resolutions (both horizontal and vertical) significantly increase computation time, while different processing configurations only have a noticeable impact under conditions of larger grids. This research provides a theoretical basis and practical guidance for improving the computational efficiency of the WRF model and offers valuable insights for performance optimization in similar large-scale parallel applications.
文章引用:杜江付, 李瑞娟, 宁嘉泉, 张俊兵, 施晨晓, 买合木提江·维吉坦, 王露践, 白磊. WRF模式计算效率的多因素影响机制及其优化方法研究[J]. 计算机科学与应用, 2024, 14(11): 226-235. https://doi.org/10.12677/csa.2024.1411232

1. 引言

天气预报和气候模拟对于现代社会的发展和人类生活的改善具有至关重要的作用。准确且高效的数值天气预报模型是提高预报准确性和延长预报时效的关键。WRF (Weather Research and Forecasting)模式是目前国际上广泛使用的中尺度数值天气预报模式之一,在天气预报和大气科学研究中发挥着重要作用。然而,随着模式分辨率的提高和模拟区域的扩大,WRF模式的计算效率问题日益凸显。如何优化WRF模式的计算性能,缩短模拟时间,已成为业界关注的热点问题。

计算机硬件和软件技术的飞速发展为提升WRF模式的计算效率提供了新的机遇。近年来,高性能计算(HPC)技术取得了长足进步,超级计算机的计算能力不断提升,通过优化稀疏三角求解(SpTRSV)和不完全LU分解(ILU)等核心算法可以大幅提升了大气模型求解器的性能[1]。同时,计算机体系结构也在向多核心、众核、异构计算的方向发展。Intel和AMD先后推出了多款高性能处理器,如Intel Xeon系列第三代英特尔至强可扩展处理器(Ice Lake)在运行WRF模型时提供了显著的性能提升,特别是在大规模计算和高内存带宽应用中[2],同时也可通过调整BIOS设置,主要是通过优化内存带宽利用率,也可使得Ice Lake处理器的HPC性能可以显著提升[3]。另外,AMD EPYC系列,在使用AMD Rome处理器的多节点系统上运算WRF程序可提升17%~32%的性能[4],因此AMD Rome平台优异的性能表现也适用于大规模的WRF模拟计算[5],为HPC应用提供了强大的计算支持。Dell [6]、联想[7]、浪潮[8]、曙光[9]、HP等知名IT厂商也相继推出了高性能计算集群解决方案,为WRF等应用的运行提供了高效可靠的平台。

WRF模式的计算性能优化涉及模式本身的算法实现、计算机硬件环境、并行计算框架等多个方面。科研人员围绕这些方面开展了大量的研究工作。Michalakes等人[10]较早地对WRF模式的并行扩展性进行了研究,提出了一种混合OpenMP/MPI并行方法,在保持较高并行效率的同时,有效降低了通信开销。Mielikainen等人[11]针对Intel Many Integrated Core (MIC)架构对WRF进行了优化,利用MIC的大规模并行计算能力,将部分计算任务加载到协处理器上,从而显著提高了计算性能。同时他们也探索了在GPU上加速WRF的可能性[12],利用GPU强大的浮点计算能力,实现了核心算法的异构加速。Sever等人[13]进一步研究了WRF在DOE Summit超级计算机上的性能表现,通过对CPU和GPU平台的对比实验,表明GPU在动态模拟任务中具有显著的加速优势,并提出了将来优化内存使用和提升模型整体效率的方向。国内学者也对WRF的并行优化进行了广泛研究。陈璟锟等人[14]分析了影响WRF并行性能的瓶颈,提出了一种“重叠存储优化”策略实现了隐藏I/O的开销,限制收集通信的开销,突破了通信带宽和内存限制带来的瓶颈,从而提供输出性能。针对WRF模型的I/O瓶颈,研究者对通信过程进行了优化,提升了数据传输速度。同时,通过调整I/O进程的工作顺序,减少了I/O操作对计算性能的影响,优化后的WRF在性能上有了显著提升,测试表明峰值性能相比原版提高了近11.4%。

尽管已有研究取得了良好进展,但如何进一步挖掘现代处理器和并行框架[15]的性能潜力,全面优化WRF的计算效率,仍然是一个亟需深入研究的课题。本研究旨在优化WRF模型计算效率。首先,通过改变网格数量,分析网格规模对计算时间的影响。其次,探讨垂直分层数与计算性能的关系,在保证精度的同时提高效率。最后,研究不同进程网格划分策略对计算效率的作用,以优化并行计算策略。通过这些实验,全面评估影响WRF计算效率的关键因素。上述工作不仅是对提高WRF模型的计算效率提供指导经验,而且对实现节能减排、促进可持续发展等方面也具有重要的现实意义,为实现“双碳”目标贡献力量。

2. 研究方法和数据

本研究采用实验研究方法,通过设计一系列实验方案,在高性能计算集群上运行WRF模式,收集不同实验配置下的性能数据,进行定量分析和比较,探究影响WRF计算效率的关键因素及其规律。

2.1. 实验平台

本研究采用以下硬件和软件环境进行WRF模式的性能测试和优化(见表1)。

Table 1. Experimental platform for this study

1. 本研究的实验平台

硬件平台:

软件环境:

处理器:Intel Core i7-12700H

核心配置:6个性能核心(P-core)和8个能效核心(E-core)

基础频率:2.3 GHz,最大睿频:4.7 GHz

内存:32 GB DDR4-3200MHz,双通道配置

存储:Lustre分布式存储系统

操作系统:Debian 11.3

系统编译器:10.2.1

编译器:Intel OneAPI 2023

并行库:MPICH-4.2.1

WRF版本:4.5.3

WRF的配置采用如下:微物理过程采用Thompson方案;积云对流参数化选用Kain-Fritsch方案;辐射传输过程使用RRTMG (Rapid Radiative Transfer Model for GCMs)方案;行星边界层参数化采用YSU (Yonsei University)方案;地表层使用MM5 Monin-Obukhov方案;陆面过程模型选择Noah-MP (Multi-Physics)方案。

2.2. 实验设计

实验选择ERA5全球大气再分析数据作为WRF的驱动数据。模拟地区选在中国海南,模拟时间为:2002年1月1日。具体的实验内容如下:

(1) WRF网格规模实验:先按照总网格数从2.5 × 103开始,按照每次1000个网格数量递增,一直增加到4 × 104个,反解出对应的39组矩阵网格(行 × 列相等),后续再设置4组不同网格数的实验方案(如50 × 50,100 × 100,150 × 150,200 × 200,在固定核数(如8核)的情况下,测试不同网格规模下的计算时间,分析计算时间与网格规模的关系。

(2) WRF网格垂直分层数实验:选取7组不同的垂直分层数(如40层、50层、60层、70层、80层、90层、100层),在固定网格和核数的情况下,测试不同分层数对计算时间的影响。

(3) 配置处理实验:选取不同的处理配置(如1 × 8、8 × 1、2 × 4、4 × 2),在同一水平和垂直分辨率方向上,测试不同配置下对固定网格计算时间和内存开销的影响。

2.3. 性能指标

本研究以计算时间作为性能指标。计算时间是评估模型计算效率的重要指标。为此,我们编写了bash脚本对WRF的log日志文件rsl.error.0000的时间信息进行提取,分析在1小时内的单步运行时间(单位:秒)。此外,为确保实验结果的可靠性,我们对每组实验进行了3次重复。通过此方法,我们可以准确评估WRF模型在不同配置下的计算效率,并为进一步的优化提供依据。

3. 结果

3.1. 水平分辨率对计算效率的影响

在保持垂直分辨率为40层,其他各项基本参数都不变时,我们选取了海南2002年1月1日的数据进行了五种不同水平分辨率(1、3、5、7和10 km)的实验,依次测量了从50 × 50的2.5 × 103总网格点数依次按1000网格点数依次递增到201 × 201的约4 × 104个总网格点数下的平均计算时间,得到不同水平分辨率下计算相同网格点数所需的平均时间,由此得到图1

为了研究水平分辨率对计算效率的影响,WRF模式在保持垂直分辨率为40层、其他各项基本参数不变的情况下,进行了五种不同水平分辨率(1 km、3 km、5 km、7 km和10 km)的数值模拟实验(见图1)。实验中,我们测量了从50 × 50 (总网格点数为2.5 × 103)到200 × 200 (总网格点数约为4 × 104)的平均计算时间,网格点数以1000为间隔递增。通过对比分析不同水平分辨率下计算相同网格点数所需的平均时间,可以发现在相同的总网格点数下,水平分辨率越高,计算所需的平均时间越长。

提高水平分辨率,能够更加准确地模拟近地表气象要素和高程信息[16],从图1中可以明显看出,随着水平分辨率的增大,计算的总时间显著增加,并且在较大网格点数时,不同水平分辨率之间的计算时间差异更加明显,同时都呈现非线性关系。例如,对于50 × 50个网格点数,计算时间从1 km水平分辨率的0.053 s增加到10 km水平分辨率的0.065 s,增加了约24%。而对于201 × 201个网格点数,计算时间从1 km水平分辨率的1.062 s增加到10 km水平分辨率的1.247 s,增加了约17%。这表明,较大的网格点数和较高的水平分辨率会显著增加计算时间,且这种增加的幅度在较高分辨率下更为明显。进一步分析发现,在较小网格点数(如50 × 50到100 × 100个网格点数范围)时,不同分辨率之间的时间差异较小,但在较大网格点数(如150 × 150和200 × 200个网格点数范围)时,这种差异显著增加。例如,当网格点数为50 × 50时,1 km和10 km水平分辨率的计算时间差异仅约为0.013 s,而当网格点数为200 × 200时,这一差异增加到约0.186 s,计算时间增加幅度明显。此外,随着网格点数的增加,计算时间的增幅也逐渐增大。例如,从50 × 50到100×100个网格点数,1 km水平分辨率下的计算时间延长了约0.338 s,而10 km水平分辨率下增加了约0.385 s。这种增幅在从150 × 150到200 × 200个网格点数时更为明显,分别为约0.466 s和0.551 s,在下文再具体分析这种指数型时间增率。

Figure 1. Average computation time for the same number of grid points at different horizontal resolutions

1. 不同水平分辨率下计算相同网格点数所需的平均时间

选取单个水平分辨率为10 km的结果并绘制线图进行相关性分析,从总体的线性回归分析中,曲线的斜率为0.0084,截距为−0.5,R值为0.979,反映网格点数和平均时间之间存在有较强的线性相关关系,但又经过指数拟合后可得到拟合曲线的方程为0.0828e0.0138x,R2值为0.984,这说明随着网格分辨率的提高,计算所需的时间以指数方式快速增加。表明模型能够较好地描述数据的变化趋势。这表明网格点数和平均时间之间存在较强的正相关性,且这种关联是非线性的。随后我们又对这个线图进行分段拟合呈现的结果如下图2,可以看到在网格点数为80 × 80前,呈现线性增长,随后呈现指数型增长的一种趋势,且三段拟合出的相关指数R2效果较好。

为进一步探究网格点数与计算时间之间的关系,本研究选取了水平分辨率为10 km的结果,并绘制线图进行相关性分析(图2)。从总体的线性回归分析来看,拟合曲线的斜率为0.0084,截距为−0.5,相关系数R为0.979,这表明网格点数和平均计算时间之间存在较强的线性相关性。然而,经过指数拟合后,我们得到了拟合曲线的方程为0.0828e0.0138x,决定系数R2为0.984。随着网格分辨率的提高,计算所需的时间呈指数方式快速增加,且指数拟合模型能够较好地描述数据的变化趋势。总体上,在网格点数小于等于80 × 80时,计算时间呈现线性增长;而当网格点数超过80 × 80后,计算时间转而呈现指数型增长趋势。

注:此时为正方形网格,行和列格点数相等。

Figure 2. Segmented fitted curve for 10 km horizontal resolution

2. 10 km水平分辨率的分阶段的拟合曲线

3.2. 垂直层数对计算效率的影响

Figure 3. Average computation time for the same number of grid points at different vertical resolutions

3. 不同层垂直分辨率下计算的相同网格点数所需的平均时间

提高垂直分辨率能显著改进模拟效果[17],为了研究垂直分辨率的影响,我们测试了七种不同的垂直分辨率(40、50、60、70、80、90和100层),并测量了50 × 50、100 × 100、150 × 150、200 × 200的网格点数下的平均计算时间,得到表1并作图,图3表明,随着垂直层数的增加,计算相同网格点数大小的平均时间明显增加,并随着网格点数的增加,增幅更为显著。

表2中,垂直分辨率对计算时间有显著影响。随着垂直层数的增加,计算时间呈线性增长趋势。以50 × 50网格点数为例,计算时间从40层的0.065增加到100层的0.188 s,增长约2.89倍。类似地,在其他网格点数下,垂直分辨率的增加也导致计算时间的线性增长,增长倍数在2.46倍到2.89倍之间。其次,网格点数的增加对计算时间的影响更为显著,尤其在较高垂直分辨率下。以40层垂直分辨率为例,计算时间随网格点数的增加呈现近似平方关系:从50 × 50的0.065 s,到100 × 100的0.29 s (约4.46倍增加),再到150 × 150的0.709 s (约2.45倍增加),最后到200 × 200的1.238 s (约1.75倍增加)。这表明计算复杂度可能与网格点数的平方成正比。此外,高垂直分辨率和高网格点数的组合会导致计算时间的显著增加。例如,200 × 200网格点数在100层垂直分辨率下的计算时间为3.052 s,是50 × 50网格点数在40层垂直分辨率下的约47倍(3.052/0.065)。垂直分辨率的增加导致计算时间的线性增长,而网格点数的增加则导致计算时间的近乎平方级别的增长。在实际应用中,需要在垂直分辨率和网格点数之间进行权衡,以平衡计算精度和计算时间,从而优化计算效率。此外,还应考虑并行计算环境下的通信开销、缓存和内存带宽等因素,以进一步提高模型的计算性能。

Table 2. Average computation time for the same number of grid points at different vertical resolutions

2. 不同层垂直分辨率下计算的相同网格点数所用的平均时间

网格点数

40层

50层

60层

60层

80层

90层

100层

50 × 50

0.065

0.083

0.102

0.122

0.142

0.165

0.188

100 × 100

0.29

0.37

0.456

0.544

0.627

0.714

0.793

150 × 150

0.709

0.878

1.055

1.243

1.39

1.565

1.763

200 × 200

1.238

1.521

1.834

2.11

2.434

2.719

3.052

注:数据为实验所得,单位为秒。

Figure 4. Impact of increasing grid point numbers on the computation time growth rate in the WRF model

4. 不同网格点数量增加对WRF模型计算时间增加率的影响

图4是探究不同阶段,从小网格点数到大网格点数计算WRF时所用时间的增幅程度。从可看出,增加网格点数量,在垂直分辨率相同的条件下可以得到从50 × 50增加到100 × 100的网格点数的计算时间增幅是最为显著的,此时网格点数增加了300%,计算时间增幅都在340%以上,单位网格点数计算的平均时间增加了1.16倍。在较小的网格规模(50 × 50)时,大部分数据可能能够有效地存储在处理器的缓存中。当增加到100 × 100时,数据量可能超过了缓存容量,导致更多的主内存访问,显著增加了计算时间。随后从100 × 100增加到150 × 150网格点数,150 × 150增加到200 × 200网格点数增幅开始骤减,从150 × 150增加到200 × 200网格点数增加了77.8%的网格点数,计算的平均时间增幅仅有70%多,单位网格点数计算的平均时间增加了0.96倍,这表明垂直分辨率的改变会显著增加较小的网格点数计算的平均时间增加率,同时也会增加较大的网格点数计算的平均时间增加率,但增加幅度较弱,从50 × 50增加到100 × 100的转变可能导致内存带宽接近饱和随后继续增加网格点数,也持续达到这种饱和状态,继而增幅有限。在相同的网格点数下,不论是较小网格点数或较大的网格点数,改变垂直分辨率对计算的平均时间增加率不明显,只有细微的变化,这也许是在较小规模时,计算时间可能占主导。

3.3. 内存开销的定量分析

图5中,不同的并行处理配置在各网格点数下的内存(统计系统中主驻留内存res)消耗存在细微的差异。例如,在50 × 50网格点数时,1 × 8配置的内存消耗为1284 MB,随着网格点数增加到200 × 200时,1 × 8配置的内存消耗增长至5368 MB,而其他三种处理配置的内存消耗几乎相同,无明显差别。进一步分析图5显示,在运行WRF模型计算时的内存开销并不是理想中的线性增长,内存消耗随网格点数增加呈非线性增长趋势。具体而言,从50 × 50到100 × 100网格点数,1 × 8配置的内存消耗明显增加了71.88%,当网格点数继续增加至150 × 150时,内存消耗的增长幅度较缓,仅有52.73%,再增加网格点数增加了59.52%。这表明,网格点数的增加对内存开销具有显著影响,且该影响在不同并行处理配置下有所差异。

在理想条件下,网格规模扩大一倍,计算WRF模型时的内存占用也应增大为原来的一倍,但从实验结果可以看到,网格点数扩大了3倍,内存的占用并没有增加那么多。

Figure 5. Impact of different configurations on memory usage for various grid point numbers

5. 不同配置在不同网格点数的对内存开销的影响

3.4. CPU并行分区对WRF计算的平均时间的影响

表3从总体上看,WRF的计算的平均时间仍随网格点数的增大而增加,进一步分析发现,不同的并行处理配置在较小网格点数时表现差异较小,但在较大网格点数时,这种差异会显著增加。对于50 × 50个网格点数,1 × 8配置的计算时间为0.062 s,而4 × 2配置的计算时间为0.062 s,两种不同配置的计算时间差异仅为37 s,差异极小。然而,对于200 × 200个网格点数,1 × 8配置的计算时间为1.191 s,而4 × 2配置的计算时间为1.491 s,这一差异增加到0.300 s,差异显著增加。这表明,在较大网格点数下的并行处理策略对计算时间的影响更加显著。

Table 3. Impact of different parallel processing configurations on the average computation time of the WRF model

3. 不同并行处理配置下对WRF 模型的平均计算时间的影响

网格点数

不同配置计算的平均时间(单位:s)

1 × 8

8 × 1

2 × 4

4 × 2

50 × 50

0.062

0.062

0.061

0.062

100 × 100

0.279

0.279

0.273

0.270

150 × 150

0.664

0.664

0.669

0.752

200 × 200

1.191

1.191

1.218

1.491

4. 结论

本研究探讨了水平分辨率、垂直分辨率以及并行处理策略对WRF模型计算性能的影响。通过对不同分辨率和并行配置下的计算时间进行分析,得出以下结论:

1) 水平分辨率的提升对单步迭代的平均时间有显著影响。随着水平分辨率的增加,尤其是在高分辨率和大网格点数的情况下,计算时间的开销呈指数增长趋势。

2) 垂直分辨率对计算时间的影响表现为近乎线性的增长。然而,在大网格点数的情况下,垂直分辨率的增加对计算时间的影响相对较小。与水平分辨率相比,垂直层数并非影响计算负载的最主要因素。因此,在优化模型性能时,应优先考虑水平分辨率的影响。

3) 采用不同的并行处理配置对内存开销和时间消耗的影响并不显著。然而,在大规模网格点数的情况下,选择合适的并行配置能够有效提升计算效率。这表明并行策略是优化大规模模拟性能的重要手段。通过调整并行配置,可以在一定程度上缓解高分辨率和大网格点数带来的计算负载压力。

基金项目

国家自然科学基金(No. 32260294)和海南大学科研基金资助项目(KYQD (ZR)-22083)。

NOTES

*第一作者。

#通讯作者。

参考文献

[1] 陈道琨, 刘芳芳, 杨超. 面向新一代神威超级计算机平台的大气动力学问题全隐式求解器研究[J]. 数值计算与计算机应用, 2023, 44(2): 198-213.
[2] WRF Performance with 3rd Generation Intel Xeon Scalable Processors on Dell EMC PowerEdge Servers|Dell Technologies Info Hub.
https://infohub.delltechnologies.com/zh-cn/p/wrf-performance-with-3rd-generation-intel-xeon-scalable-processors-on-dell-emc-poweredge-servers/
[3] Intel Ice Lake—BIOS Characterization for HPC|Dell Technologies Info Hub.
https://infohub.delltechnologies.com/zh-cn/p/intel-ice-lake-bios-characterization-for-hpc/
[4] WRF Performance on AMD ROME Platform—Multi-Node Study|Dell US.
https://www.dell.com/support/kbdoc/en-us/000152654/wrf-performance-on-amd-rome-platform-multi-node-study
[5] WRF Performance on AMD Rome Platform|Dell US.
https://www.dell.com/support/kbdoc/en-us/000135371/wrf-performance-on-amd-rome-platform
[6] 高性能计算|Dell中国大陆[EB/OL].
https://www.dell.com/zh-cn/lp/dt/workloads-high-performance-computing-solutions, 2024-09-15.
[7] High Performance Computing (HPC) Solutions|#1 Supercomputer Provider Globally|Lenovo US Arrow-Top.
https://www.lenovo.com/us/en/servers-storage/solutions/hpc/?orgRef=https%253A%252F%252Fwww.google.com.hk%252F&srsltid=AfmBOophb9BAHqVEpFIjgo0y9Nn5sTnm1yQap3Q2Cjor-kA4ERjeBUgt
[8] 能源行业HPC解决方案-浪潮[EB/OL].
https://www.inspur.com/lcjtww/2619827/2528404/2621412/2623497/index.html, 2024-9-15.
[9] PHP是最好的. 中国高性能计算(HPC)的崛起: 曙光引领全球潮流-百度开发者中心portal Entry Icon [EB/OL].
https://developer.baidu.com/article/detail.html?id=3220862, 2024-9-15.
[10] Michalakes, J., Dudhia, J., Gill, D., et al. (2015) The Weather Research and Forecast Model: Software Architecture and Performance: Use of High Performance Computing in Meteorology. The 11th ECMWF Workshop, Reading, 25-29 October 2015.
https://opensky.ucar.edu/islandora/object/conference%3A2251
[11] Mielikainen, J., Huang, B. and Huang, H.L. (2014) Intel Many Integrated Core (MIC) Architecture Optimization Strategies for a Memory-Bound Weather Research and Forecasting (WRF) Goddard Microphysics Scheme. Conference on High-Performance Computing in Remote Sensing, Amsterdam, 22-25 September 2014.
https://doi.org/10.1117/12.2068358
[12] Mielikainen, J., Huang, B. and Huang, A. (2014) Optimizing Weather and Research Forecast (WRF) Thompson Cloud Microphysics on Intel Many Integrated Core (MIC). International Society for Optics and Photonics.
[13] Sever, G., Adie, J., Po Sey, S., et al. (2020) Performance Evaluation of the Weather Research and Forecasting (WRF) Model on the DOE Summit Supercomputer.
[14] 陈璟锟, 杜云飞. 地球科学大规模并行应用的重叠存储优化[J]. 计算机研究与发展, 2019, 56(4): 790-797.
[15] 李俊醅, 庄子波. WRF模式在LINUX集群系统的并行计算与评测[J]. 计算机技术与发展, 2012, 22(7): 5-8.
[16] 潘小多, 李新. 水平分辨率对WRF模式的影响研究——以黑河流域WRF模拟为例[J]. 科研信息化技术与应用, 2011, 2(6): 126-137.
[17] 刘现鹏, 邵利民, 魏海亮. WRF模式垂直分辨率对海雾模拟影响的个例研究[J]. 海洋技术学报, 2014, 33(6): 85-89.