基于大数据的空调系统优化控制技术的研究进展
Research Progress on Big Data-Based Optimal Control Technology for HVAC Systems
DOI: 10.12677/mos.2025.1410621, PDF, HTML, XML,   
作者: 丁晓颖*, 王 丹:上海理工大学环境与建筑学院,上海
关键词: 空调系统大数据优化控制HVAC Big Data Optimal Control
摘要: 目前众多研究利用基于大数据的智能化技术来优化控制空调系统,降低空调系统的能耗,同时保证人体的舒适度。本文将近几年的研究根据控制对象所属的系统部分进行分类,即分为风系统、冷水系统、热水系统和风水联合优化控制四个部分总结近几年的研究进展,再介绍这些技术的实际应用程度,最终对未来研究提出建议。
Abstract: A growing body of current research employs big data-based intelligent technologies to optimize and control heating, ventilation, and air conditioning (HVAC) systems, with the dual objectives of reducing HVAC energy consumption and safeguarding human thermal comfort. This paper synthesizes the research progress achieved in recent years by categorizing relevant studies based on the subsystem to which the control object belongs. Specifically, the studies are classified into four domains: air system optimization control, cooling water system optimization control, hot water system optimization control, and air-water integrated optimization control. Subsequent to this classification-based synthesis, the paper elaborates on the practical application status and implementation level of these technologies. Finally, it proposes targeted recommendations for future research directions in this field.
文章引用:丁晓颖, 王丹. 基于大数据的空调系统优化控制技术的研究进展[J]. 建模与仿真, 2025, 14(10): 248-262. https://doi.org/10.12677/mos.2025.1410621

1. 引言

随着全球能源消耗的持续增长和环境问题的加剧,建筑行业的能耗问题受到了广泛关注。而空调系统作为建筑的重要组成部分,其能耗占比约为建筑总能耗的50% [1],所以空调系统的节能对降低建筑能耗和促进节能减排有十分重要意义。然而,传统的空调控制方法主要依赖于经验设定和简单的反馈调节,在应对复杂的室内外环境变化和用户的个性化需求时存在明显不足,节能效果也有限。因此,如何提高空调系统的智能化控制水平,在实现更高的系统节能效果的同时保证室内环境的舒适性,成为行业的研究热点。

近年来,建筑自控系统(Building Automation System, BAS) [2]、物联网(Internet of Things, IoT) [3]和互联网技术的飞速发展,不仅积累了大量的空调系统运行数据可供研究,兴起的大数据技术也为空调系统的优化控制提供了新的工具,即利用基于大数据的智能控制方法,如使用神经网络、深度学习和强化学习控制等,对存储的海量运行数据进行处理、分析,并提出新的控制方法。因此,本文将结合近几年基于大数据的空调系统优化控制方法的研究,对控制对象所属的系统部分进行分类,即分为风系统、冷水系统、热水系统和多系统联合控制四个部分进行,然后总结目前已经投入实际应用的优化控制方法,最后对未来的研究提出建议。

2. HVAC优化控制方法

一般空调系统可分为空气侧和水侧[4],空气侧即指风系统,水侧即指水系统。为区分空调制冷、制热所涉及的设备不同,将水系统进一步划分为冷水和热水系统。因此,下文将分为风系统、冷水系统和热水系统三个部分,并依次介绍如何利用大数据相关技术,对这三个系统及多个系统耦合起来进行优化控制。

2.1. 空调风系统的优化控制方法

空调系统的空气侧,也称为风系统,一般由空气处理机组(Air Handling Unit, AHU)、管道、变风量箱(Variable Air Volume Box, VAV BOX)组成[5],当然末端还可以是风口、风机盘管(Fan Coil Unit, FCU)等。风系统控制进一步分成送风系统、回风系统和风系统联合控制三个部分。

2.1.1. 送风系统内的控制方法

送风系统的优化控制研究中,控制对象多为只控制送风温度,其次是送风量和风速,然后通过优化控制这些参数达到节能、满足热舒适需求。控制对象参数的确定主要有三种方法,一是基于强化学习的控制方法,二是根据实际占用情况控制,三是基于预测模型控制。

例如,Deng等人[6]的研究基于智能体与环境交互确定,该研究是在AHU中将新回风混合的空气处理到预设值的基础上,用智能体与电能和一些环境参数交互,以此来确定每个区域的VAV箱的送风温度设定值,该控制方法与普通的软性演员–评论家(Soft Actor-Critic, SAC)控制相比,降低了8.6%的能耗,与基于规则控制(Rule-Based Control, RBC)相比降低了15.9%的能耗,同时将预测的不满意百分比(Predicted Percentage of Dissatisfied, PPD)值控制在6%~8%;Chen [7]等人的研究则是基于RL提出了一种可用于实际楼宇中的基于强化学习的控制方法来控制送风量,首先利用历史BAS数据训练智能体,让其模仿现有控制器初始化智能体,训练完成后智能体可以直接部署到实际建筑中,在线训练则是结合策略梯度算法改进控制策略,该方法在会议室中部署后经实际测试表明,可减少16.7%的制冷量需求;Wang等人[8]的研究,则是根据实际占用情况来确定,该研究是基于视觉摄像机检测到的人员和设备的情况得到室内的热增益,进一步预测室内负荷、人员热不舒适等,再利用帕累托前沿根据室内负荷和人员热舒适性确定温度设定值,该方法在冬季时,可减少高达36.8%的能耗,用户热不满意度减少高达5.26%;夏季时,制冷量可节省3.5%~33.9%,而室内人员的热不满意度可降低0.17%~2.89%;Mohammadjavad等人[9]的研究利用预测模型来确定送风温度、送风量,送风温度的范围是10℃~20℃,该研究使用收集的每个区域的温度、室外温度及送风控制信号等,基于库普曼(Koopman)算子的双线性预测模型去预测各区温度,根据预测结果由控制器确定送风温度、风量,该控制方法比其他控制方法可以减少约30%的能耗;Merema等人[10]的研究则是提出了一种基于占用的模型预测控制方法来控制送风温度和送风量,提前一周根据室外温度、室内占用曲线等来预测室内温度、二氧化碳浓度,结合成本函数等进行优化,将优化得出的设定值借助BACnet传递到每个房间并设置相应末端风阀位置和送风温度设定值,经实际测试表明,该方法可降低10%~40%的电能。

综上所述,在送风系统的优化控制中,控制对象多为送风温度和送风量,利用强化学习、基于占用情况或是将预测模型与其他控制器或算法结合来确定控制对象设定值,达到节能并保证热舒适的目的。其控制效果相比于传统方法或未改进前有不同程度的提升。

2.1.2. 回风系统内的控制方法

以回风系统内的参数作为控制对象时,控制对象基本是室内温度设定值、恒温器设定值或是空调系统设定值等,但本质上控制对象就是送风与室内温度混合后的回风温度。

回风温度的确定方法大致分为了两种,一种是基于神经网络(Neural Networks, NN)预测控制,另一种是利用强化学习控制。例如,Muhammad等人[11]的研究就是基于神经网络进行预测控制的,是利用自注意力(Transformer)模型预测得到的,即将采集到的电能、空气品质、人体热舒适等参数输入Transformer模型预测空调温度设定值,再将设定值给到控制器执行控制操作,最终最佳的模型可在一天中节省47.5%的能源,并且用户的不满意度为0%;Peng等人[12]提出了一种基于学习的温度偏好控制(LTPC)的控制方法,通过训练好的神经网络来预测室内人员的室内温度设定值,然后用RBC控制与本地控制器通信传递温度设定值,该研究还将控制方法布置在四个办公室中,经测试表明该方法与固定温度值控制相比可降低4%~25%的能耗;Yu等人[13]的研究,则是第二种方法,基于演员–评论家(Actor-Critic, AC)算法进行,利用智能体与室内外环境状态交互确定,即通过控制桌面台式风扇和HVAC智能体与室外温度、占用状态、空调系统和个体舒适度进行交互确定,且为提高训练效率增加了基于注意力机制(Attention Mechanism, AM)的Attention-Actor-Critic (MAAC)来训练智能体,在控制过程中,还可以利用MAAC同时了解其他智能体的控制效果,以提高无模型控制的性能,该方法与基于深度强化学习(Deep Reinforcement Learning, DRL)的方法和两种固定温度控制的方法相比,可以同时降低0.7%~4.18%的能耗和64.13%~72.08%的平均热舒适性偏差。

另外,相比于Yu等人[13]的研究,Shin等人[14]的研究虽然也用了智能体,但是给到智能体的状态信息中,增加了由门控循环单元(Gate Recurrent Unit, GRU)预测得到的下一小时的室外天气信息,用于temPER算法(一种新型优先体验回放(PRE)算法)中判断当前与下一时刻室外温度差值,优先选择差值大的,以便在训练时更有效地选择经验,让它能更好地适应环境变化,有限经验回放也能加快训练收敛速度。

综上所述,在回风系统控制中,控制方法本质上都是通过机器学习模型调整回风温度参数,以达到节能和保证热舒适度的目的。回风温度范围,夏季一般在22℃~28℃范围内,冬季一般在20℃~22℃范围内。目前的研究基本只考虑了夏季或冬季,较少的研究同时考虑两个季节的设定值。控制方法相较于传统的RBC控制或为改进之前的控制方法也有一定程度的提升。

2.1.3. 风系统内的联合控制方法

空调的风系统主要有两个作用,一是维持室内的热环境,二是保持室内的空气品质[15]。而单独控制送风、回风等系统往往只能做到节能并兼顾热舒适性,但是对空气品质无法保证,因此需要将风系统中的参数联合控制来解决这个问题。从表1可见,这些研究的控制对象往往集中在室内温度设定值、换气效率相关的参数,即联合控制回风系统和排风系统,也有一些研究是联合室内温度设定值和新风比。

这些研究的控制方法主要分为三种,第一种是基于NN建立的预测模型进行优化控制,第二种是基于多智能体进行控制,第三种是基于强化学习(Reinforcement Learning, RL)进行控制。例如Ren等人[16]的研究就是基于人工神经网络(Artificial Neural Network, ANN)建立了室内环境参数预测模型,依据预测结果确定每小时换气次数(Air Changes per Hour, ACH)和送风温度设定值,以实现节能并保证热舒适,同时兼顾室内空气品质。而Li等人[17]的研究就是利用多智能体进行分布式控制,其中有多个VAV智能体、一个AHU智能体和一个协调智能体,首先,VAV智能体求解局部优化变量,即每个区域的新风比和临界区域温度设定值,然后全局优化确定最终的新风比和临界区温度设定值,优化问题的求解采用穷举法。为加速收敛,还设置一个共识约束,让局部优化变量尽可能接近并最终收敛到全局优化变量;而Yin等人[18]的研究就是基于RL进行的,运用深度Q网络(Deep Q-Network, DQN)算法进行,让智能体与环境交互给出控制操作,即变制冷剂流量(Variable Refrigerant Flow, VRF)空调室内温度设定值、送风量和加湿器开关,其中还增加了一个热舒适预测模型,将环境状态作为模型输入,用于预测当前舒适度指标,该模型后续集成到系统里进行优化控制,作为奖励计算的参数之一。

另外除了上述控制对象外,一般联合控制回风系统和送风系统只能兼顾节能和热舒适,如Liu等人[19]的研究就是只控制了室内温度设定值和送风量。如果想要兼顾室内的空气品质,例如Zakia等人[20]的研究,可以通过在优化问题的约束条件中,增加空气品质相关的约束条件并求解,从而确定最佳的室内温度设定和两台AHU送风管道静压设定值,此时就可以达成控制目标兼顾空气品质。

Table 1. Joint optimization control methods in air systems

1. 风系统内联合优化控制方法

参考文献

大数据技术

控制方法

控制对象

参数范围

控制效果

[21]

基于DRL控制 方法

基于DRL的 控制

室内温度设定值、换气扇 开关

室内温度设定值(℃):{22, 23, 24, 25, 26, 27};换气扇状态启停控制

相较于原系统,该方法可让能耗降低4%~5%,二氧化碳浓度降低10%,舒适度较好

续表

[22]

基于DRL控制 方法

基于DRL控制

室内温度设定值和吊扇转速

温度:{26, 26.5, 27, 27.5, 28, 28.5, 35};吊扇有五档{M0 - M5}

制冷能耗降低了14%,热舒适度提高了11%

[23]

基于分布式控制建立控制方法

基于令牌的智能调度算法(Smart-TBSA)控制方法

区域风量、室内温度设定值、每个VAV风量

——

与物联网集成后降低了20%的能耗

[19]

基于RL建立控制方法

基于RL的控制

室内温度设定值、送风量

——

与RBC相比降低了16.7%的能耗,并保证了热舒适性

[20]

基于NN建立室内环境参数和系统能耗预测模型

基于NN和PSO(粒子群优化算法)优化控制

室内温度设定值、两台AHU的送风管道 静压

室内温度设定值(℃):[21.9~26.7];AHU 1和2的管道静压分别为[50~180] kPa、[70~300] kPa

空调系统能耗降低7.8%

[17]

基于分布式控制建立控制方法

基于多智能体分布式优化控制

新风比、临界区温度设定值

新风比:[0 - 1];临界区的温度设定值(℃):[22~24]

与集中控制方法相比,能耗略高,分布式控制智能体计算负载更小,速度更快

[18]

基于DRL的优化控制

PTCC (基于性能的热舒适控制)控制方法

VRF空调设定值、送风量、加湿器开/关

VRF设定值(℃):开、关、[19~26]取整;送风量:低、中、高;加湿器:开、关

与固定温度在22℃、24℃相比,VRF能耗分别降低了32.2%、12.4%

[16]

基于ANN建立室内空气质量预测模型

基于ANN预测模型控制

送风温度、每小时换气次数

送风温度(℃):[16~22];每小时换气次数:[4~12]

该方法可将每小时换气次数降低50%,能耗降低32%

综上所述,风系统联合控制时,兼顾控制室内温度设定值和换气次数或者新风相关参数,或是在联控室内温度设定值和送风相关参数时,在优化问题的约束中增加空气品质相关的约束条件,就可以让控制目标不仅包括节能和保证热舒适,还可以兼顾室内空气品质。但目前这些研究都是模拟测试,且大部分模拟数据并不是空间测量数据,所以未来可以在这方面进一步研究,或是在实际测试中评估这些控制方法的性能。

2.2. 冷水系统的优化控制方法

水系统是一种复杂的系统,由几个耦合的子系统组成,包括冷冻水回路、冷却水回路[24]。因此,冷水系统的优化控制进一步划分为冷冻水系统、冷却水系统和冷水系统内联合控制三个部分,分别在2.2.1节、2.2.2节和2.2.3节进行归纳总结。

2.2.1. 冷冻水系统的优化控制方法

冷冻水系统,主要包括冷水机组里的蒸发器、冷冻水泵和管道。在冷冻水系统中,常见的控制对象为冷水机组的运行数量、冷水机组的启停、冷冻水供水温度和冷冻水流量。对于每次开启或关闭的冷水机组数量需要针对每个应用场所和操作人员来决定[25],如为防止由于制冷能力突然变化等原因导致的中央监控系统(Central Control Monitoring System, CCMS)报警,一般每次只开启或关闭一台;冷冻水的供水温度最值在6℃~15℃范围内[26],回水温度最值在7℃~13.3℃范围内[27];冷冻水流量范围为额定流量的50%到110%,根据操作人员建议每次调节的冷却水泵速度限制在±2 Hz [25]

这些研究中,冷水机组的数量、冷冻水供/回水温度和冷冻水的流量数值的确定,都可以分为预测和优化问题求解以获得控制对象参数两个步骤,例如在Yue等人[28]的研究中控制对象为冷冻水供水温度和冷水机组顺序优化两个部分,利用建筑热预测模型与优化算法得出最佳的制冷量,同时结合当前冷冻水流量和供水温度即可近似计算出最佳的冷冻水供水温度;另外基于冷水机组能耗模型与优化算法确定最佳的冷水机组开启顺序,该方法与控制改造前的同类的几天相比,系统能耗分别降低了37.3%、10.6%和23.7%,不适时间百分比降低了81.55%、29.41%和82.92%;在Soowon等人[25]的研究中基于ANN建立了两个预测模型,分别用于预测室外温度和建筑冷负荷需求、单个冷水机组的能耗,然后用粒子群优化(Particle Swarm Optimization, PSO)选择最低能耗下每个冷水机组的开/关状态、冷冻水供水温度、满足冷负荷需求的冷水机组的冷冻水流量设定点组合,再发送到CCMS用于控制,该控制方法分别降低了冷水机组的能耗约7.89%和8.56%。Lee等人[29]的研究则是提出了一个可在实际建筑布置的基于RL的无模型控制方法,并基于该控制方法研发了一个智能阀门,设置在末端用于预测末端需求水量,根据该水量调节冷冻水泵和冷水机组的频率,实现冷冻水流量的优化控制,该方法在医院布置测试后结果表明,可降低31.5%的冷水机组能耗。

相较于上述的直接控制冷水机组相关参数的方法外,还可以通过调整送到末端的冷冻水量来实现节能并保证热舒适,如Dai等人[30]的研究,针对商业建筑早上刚开始制冷时,制冷条件有限不能满足需求,所以开发了一种基于强化学习和迭代的控制方法,在预冷时间前先调节各区AHU水阀开度,从而均匀冷却,降低预冷时间,减少能耗并尽可能满足热舒适需求。

综上所述,宏观上降低能耗并保证热舒适的控制方法分为两种,一种是直接控制冷水机组相关参数,另一种是合理分配末端冷冻水,以均匀冷却,降低能耗,且前者的研究中大部分分为预测和求解优化问题来确定控制参数两个步骤。控制效果相较于传统的RBC或未改进之前的控制方法都有不同程度的提升。

2.2.2. 冷却水系统的优化控制方法

冷却水系统,也称为冷凝水系统,是空调系统的重要子系统。冷却水系统包括冷却水泵、冷却塔、冷水机组冷凝器,以及部分系统可能安装的水侧经济器(Water Side Economizer, WSE) [31]。常见的控制对象是冷却塔和冷却水泵的工作频率及冷却水回水温度(也叫冷却塔出水温度、冷凝器回水温度)。其中冷却塔和冷却水泵工作频率范围及每次调节值限制需要结合设备手册等确定,以防设备损坏[32],频率变化范围最值在20 Hz~50 Hz,控制精度1 Hz。

这些参数的控制方法主要有两种,一种是基于RL的控制方法,另一种是基于ANN模型建立的控制方法。基于RL控制的研究,例如Qiu等人[32]的研究利用Q学习(Q-learning)算法来确定冷却水泵和冷却塔的运行频率,先根据预设规则确定冷水机组启停,然后冷却水泵和冷却塔的各自的智能体用Q-learning方法进行优化,得出设定值并执行,根据执行后的奖励更新Q值,根据Q值确定最优频率,与本地反馈控制相比可以节省7%的能耗。而Su等人[33]的研究则是控制冷却塔出口水温(冷却水回水温度),其中控制过程分为两个阶段,先通过协调冷却塔智能体和冷水机组智能体,确定冷却塔出口水温的最优值,最小化中央冷却系统的总能耗,然后通过协调冷却塔智能体,确定各个冷却塔的温度设定点,该方法在夏季测试日为中央制冷系统节省了4.60%的能耗;在基于ANN模型建立的控制方法中,例如Kim等人[34]的研究控制冷凝器水温(冷却水回水温度),以冷凝器水温作为输入建立ANN模型预测水系统能耗,能耗最小时即可确定相应控制参数并执行,该方法与将冷凝器水温设定点分别固定在32℃相比,可以降低9.1%的能耗。

另外,Han等人[35]的研究控制对象虽与Qiu等人[32]相同,优化目标也同样是系统能效比,但该研究是运用了DQN确定冷却塔和冷却水泵的频率,并引入了深度森林(Deep Forest, DF)分类器,将原来的动作空间映射到一个更小的动作空间,加快DQN收敛速度,既保证了良好的控制效果,又能在前期实现节能。

综上所述,冷却水系统内的控制对象主要是冷却塔和冷却水泵的运行频率、冷却水回水温度,控制方法则主要为基于强化学习控制和利用ANN进行预测控制。从控制效果上,除了DF-DQN因为收敛前积累过程,节能效果不如基于模型控制方法,其余控制方法相较于固定温度控制等传统方法或改进前方法都有不同程度的提升。只是在这些研究中都没有对室内热舒适情况做测试,未来可以补充。

2.2.3. 冷水系统内联合优化控制方法

冷水系统内的联合优化控制,即是将冷冻水和冷却水两部分结合起来考虑,因为实际工程中空调水系统是一个整体,设备之间会相互影响,同一变量对不同子系统能耗的影响可能是矛盾的[36],所以有必要将两部分的一些参数综合起来进行控制。

在冷冻水系统联合控制时,主要的控制对象仍为冷冻水供水温度、冷却水回水温度(也叫冷凝器水(供应)温度、冷却水供应温度、冷却水进水温度)、冷却塔风机和冷却水泵工作频率。其中冷冻水温度多在5℃~12℃;冷却水回水温度下限至少大于当前时刻室外湿球温度,上限多为32℃;冷却塔风机和冷却水泵的工作频率多在20 Hz~50 Hz范围内。

这些参数的控制方法主要分为两种,一种是基于强化学习,利用智能体与环境交互进行控制,另一种是预测控制。例如,He等人[37]的研究提出了一种基于强化学习进行无模型控制的方法控制冷冻水供水温度和冷却塔风机频率,该研究中利用K均值(K-means)算法将数据集划分为训练集和测试集以加速训练,基于这些子集训练不同的智能体,每次控制前还会用基于长短期记忆网络(Long Short-Term Memory, LSTM)建立的预测模型预测下一时刻的冷负荷,聚类到相应的状态子集,并用该子集上训练的控制模型进行控制,可缩短66.7%的训练时间,能耗降低0.9%。而Fu等人[38]的研究同样是基于强化学习进行无模型控制,控制冷水机组与冷却塔风机、水泵频率,但与He等人[37]的研究不同的是,该研究加速收敛的方法是,利用5个不同的智能体分别控制不同的控制对象,以减小动作空间,该方法与RBC控制相比节能效果提高11.1%,与基于模型的控制效果仅相差0.5%。另外,He等人[37]的研究还在相邻的智能体之间建立公共经验池,增强经验交换,帮助智能体在处理训练数据中不常出现的状态或相邻子集的边界处的状态时,尽可能实现最佳控制,减少控制的不稳定或不准确。而在预测控制中分为两种,如图1所示,图1(a)是一种输入参数中包括控制对象的情况,当预测结果,例如能耗最小时,即可确定控制对象,另一种如图1(b)所示,是输入参数中不包含控制对象,需要将预测模型和优化算法结合起来确定控制参数进行控制。例如Sang等人[39]的研究中,是仅基于ANN预测模型进行控制,控制对象为冷冻水水温、冷凝器水温,控制参数作为ANN预测模型的输入参数之一,输出为制冷能耗,当制冷能耗最小时,即可确定控制参数并执行控制操作。而Cen等人[40]的研究控制对象为冷冻水供水温度及流量、冷却水进水温度及流量;冷却塔风机频率;冷却塔及泵、冷水机组及循环泵的运行数量,是在建立的WTD (小波阈值去噪)-CNN (卷积神经网络)-LSTM冷负荷预测模型预测出冷负荷之后,将冷负荷作为优化问题的约束条件之一,然后利用多策略改进的麻雀搜索算法求解,以确定最佳的控制参数设定值并执行控制操作,该方法与人工调节相比,降低能耗15.32%,能效比提高20.76%;与其他优化算法相比,优化后能耗降低4.85%~13.26%。

Figure 1. Two predictive control processes based on neural network models

1. 两种基于NN模型的预测控制流程

综上所述,冷水系统内联合控制时主要的控制对象为冷冻水供水温度、冷却水回水温度、冷却塔风机和冷却水泵的频率。控制方法则主要分为基于强化学习的控制方法和预测控制方法。相较于传统的基于规则控制和未改进前的控制方法,控制效果都有一定程度的提升。但是这些研究中实际测试仍然比较少,且多为单个优化目标,未来可以增加实际测试,并拓展多个优化目标,或将空气侧纳入考虑,在保证室内热舒适的同时,最大程度地提高节能效果。

2.3. 热水系统的优化控制方法

热水系统是建筑冬季制热不可缺少的部分,一般是通过锅炉、热泵产出热水,热水加热空气达到一定值时,将热风送入室内,或热水进入室内散热器直接与室内空气换热,为室内空间供热。对于热水系统的优化控制方法,则主要分为热泵、锅炉提供热水用于制热的优化控制两部分,并在2.3.1和2.3.2节归纳总结。

2.3.1. 用热泵提供热水制热的HVAC优化控制方法

为减少提供空调系统制冷制热所消耗的化石燃料[41],热泵技术开始运用在空调系统中,它不是依靠化石燃料的燃烧来产生热量[42],而是从空气、深水和地下产生热量,因此有空气源、水源和地源热泵[43]。在用热泵作为热源的系统中,常见的控制对象是热水的供水温度和水流量,两者随着室内热负荷变化而变化以满足室内温度需求。

控制方法大致分为三种,一是基于模型预测控制,二是基于ANN进行优化控制,三是基于RL进行控制。在模型预测控制中,例如Wei等人[44]的研究是针对地源热泵制热的优化控制研究,其中建立了热负荷预测模型、热泵性能模型、主泵性能模型和室内状态预测模型,其中预测出的热负荷作为优化过程的输入,两个性能模型作为优化约束,室内状态预测作为惩罚项,用PSO求解出控制参数的设定值并控制,实际能耗降低12.19%;同时满足舒适度要求;在基于ANN的优化控制方法中,例如Cai等人[25]的研究是将室外温度,以及负载侧的供、回水温度作为ANN预测模型的输入参数,预测出二次侧的制冷剂流量,并用自适应矩估计(Adam)算法优化确定最终控制对象参数值并进行控制以保证满足室内热负荷需求,同时降低能耗。与传统型号相比,该方法在冬季可降低1.54%的能耗。Wang等人[45]的研究是将控制参数作为基于ANN建立的地源热泵(Ground Source Heat Pump, GSHP)模型的输入参数,得到热泵耗功、冷凝器和蒸发器的传热量,并作为优化模型的输入,进行优化,将降低GSHP的能耗,确定控制参数值并控制。在基于RL的控制中,如Rohrer等人[46]的研究中就是基于DRL的无模型控制方法,利用智能体与环境交互,得出控制对象热泵产生的热功率设定值,实现节能,最终可降低12%的能耗。

综上所述,用热泵产生热水的HVAC系统优化控制的对象主要是供水温度和水流量,控制方法基于模型预测控制(Model Predictive Control, MPC)或ANN优化控制两种。控制效果相较于传统方法有不同程度的性能提升,但是大部分研究的热泵,还是传统的空气源、地源热泵,未来可以针对利用太阳能辅助热泵制热的系统进行优化控制研究,以实现节能并保证热舒适,并且针对地源热泵的研究也可尝试考虑地热能衰减的问题,更贴近实际情况。

2.3.2. 用锅炉提供热水制热的HVAC优化控制方法

在区域供暖和集中供暖中,常用锅炉加热水为建筑空间供暖[47]。在锅炉供暖的优化控制中,一般是通过控制末端散热器或地暖的水流量[48]和供水温度,让室内温度达到预期值,满足室内舒适度的需求,实现节能目标。

其中,控制方法主要分为两种方法,一种是基于强化学习,利用智能体与环境交互进行控制,另一种是模型预测控制,在预测模型的基础上求解优化问题,获得最终的控制参数设定值。在基于RL进行控制的研究中,如Zhang等人[49]基于强化学习进行辐射供暖系统中的供水温度控制,利用DRL基于校准后的BEM模型训练智能体,用于控制供水温度,并将该方法在实际建筑中部署,最终经测试表明,与基于规则的控制相比,供热需求减少16.7%;Silvio等人[50]的研究,利用DRL智能体控制散热器的供水温度设定值,并且训练数据集也分为自适应和非自适应数据集,训练完成后进行测试,结果表明,自适应方法训练的智能体可节省5%~12%的热能;相较于Silvio等人[50]的研究,Homod等人[51]提出的方法,在RL基础上加入了深度聚类技术,聚类中心由c-means确定,将生成的控制操作聚类到不同集群,加快智能体的控制操作的响应速度,与常规bang-bang控制器相比,节能达到32%以上。在预测控制的方法中,如Etienne等人[52]的研究,根据先前研究[53]选择极限梯度提升算法(XGBoost)建立供暖需求预测模型,又基于锅炉模型获得锅炉性能曲线,用于确定锅炉效率,两者作为已知值用于优化问题的描述,然后用穷举法求解,输出一份包括预测结果、建议的锅炉功率和预期节能效果的报告,用于人工操作,测试结果显示在两个测试地点中可分别降低1.3%、2.8%。而Georgios等人[54]的研究中,控制对象作为神经网络的输入参数之一,用于预测室内温度和锅炉负载,然后用遗传算法(Genetic Algorithm, GA),以实现最大程度减少锅炉的燃气消耗,选择最佳的锅炉运行参数,该方法部署后还会收集新的数据定期进行二次训练,以更好适应每个房屋的特征。

综上所述,用锅炉制热水供热的研究中,控制对象多为供水温度和水流量,控制方法则主要分为基于RL控制和预测控制两种,大部分研究关注的是区域供暖的锅炉系统,少量研究针对提高家用锅炉的节能,未来研究中可拓展一些家用锅炉节能的方法。

2.4. 多系统联合优化控制方法

空调系统可分为风系统和水系统两部分,其中风系统直接影响室内人员的舒适度[4],而不同的送风温度也会影响能耗;水系统中,冷水机组则占据了能耗的主要部分[55],一般可通过调整冷冻水温度实现节能,但这也会影响水流量和送风情况[56],进而影响舒适度,所以各系统间相互影响,变量间也存在耦合关系[57],因此可以将空调系统的多个系统联合起来控制,以便在节能的同时能直接控制室内温度,保持人员的舒适性。从表2中可见,多系统联合优化控制中,主要是水系统中的冷冻水、冷却水系统和送风系统联合控制,控制对象一般包括冷冻水供水温度、冷却水回水温度和送风温度。

主要有三种控制方法,一是基于RL控制,二是基于神经网络预测控制,三是事件驱动控制。基于RL控制,一般是利用智能体与环境交互,例如Wang等人[58]的研究,提出了一种多智能体系统(Multi-Agent system, MAS)的分层控制方法,其中上层包括系统层和设备层(AHU、冷水机组等),下层为区域层(控制AHU送到每个区域的风量),当环境变化时,智能体会开始求解优化控制问题,上层优化目标是最小化系统能耗,下层则是降低空气侧能耗并保证室内热舒适度,该方法相较于集中式控制[59],降低了智能体的计算量和难度。基于NN控制一般是神经网络与优化算法结合,或者控制参数作为NN的输入参数之一,预测值满足即可确定控制参数值。例如Jee等人[60]的研究,就是将控制参数作为ANN能耗预测模型的输入参数之一,当能耗最低即可确定控制参数设定值。最后是事件驱动控制,如在王等人[61]的研究中就提出了一种基于数据挖掘的事件驱动控制方法,由数据挖掘来确定事件的状态变量和变量阈值,当定义的事件被触发时就会启动优化控制程序,调整控制参数并保证系统能耗最小,相较于固定时间频率控制,其灵活性更高,可节省0.9%~4.6%的能耗。

Table 2. Joint optimization control methods in multi-systems

2. 多系统联合优化控制方法

参考文献

大数据技术

控制方法

控制对象

参数范围

控制效果

[58]

基于RL建立控制方法

基于RL的分布式 优化控制

冷却塔出口温度、冷冻水供水温度、AHU、各区域的送风量

——

与集中控制方法相比,在初夏和盛夏分别节省了4.05%和5.33%的能耗

[62]

基于RL建立控制模型

基于深度聚类的协作多智能体强化学习(DCCMARL)的多目标分布式控制 方法

优化冷水机组顺序控制;AHU的主、预冷盘管阀门开度;新、回风阀门开度;送风速度等

——

与传统方法相比,节省44.5%的能耗

[63]

建立了LSTM预测模型预测环境状态

基于DRL的AHU控制框架

新风阀门开度、供热阀门状态、风机转速、液体(供冷)电磁阀 状态

——

降低了27%~30%的能耗,并将热不舒适比保持在10%

[64]

基于RL建立了控制模型

混合深度聚类多智能体强化学习(HDCMARL)控制 方法

AHU的主、预冷却盘管的冷冻水阀门开度、回风新风阀门开度、风机转速

——

相比PID相比,热舒适度平均提高21%,节省32%的能耗

续表

[60]

基于ANN模型预测制冷 能耗

基于人工智能的实时预测控制

冷凝器进水温度、排风温度

冷凝器进水温度(℃):21℃~32℃;排风温度(℃):12℃~18℃

与固定温度算法相比,总冷却能量降低了22.5%

[61]

基于数据挖掘构成特定事件

基于数据挖掘的事件驱动(EDOC)的优化控制

冷却水供水温度、一次冷冻水供水温度、二次冷冻水供水温度、送风温度

冷却水供水温度(℃):春季20℃~28℃,夏季28℃~35℃,秋季24℃~30℃;一、二次泵供水温度(℃)分别为:5℃~8℃、6.5℃~11.5℃;送风温度(℃):12℃~18℃

与时间驱动控制相比,制定的EDOC控制节省了0.9%~4.6%的能耗

综上所述,多系统联合优化控制时,相较于单目标控制可以兼顾系统部件和各子系统间的耦合作用,减少冲突,合理选择控制对象参数值,更好地降低能耗并保证室内热舒适。控制方法则主要为基于RL控制、NN预测控制和事件驱动控制,这些控制方法联合了空气侧和水侧,可以在节能的同时更好地兼顾室内的热舒适性,未来控制时可以考虑将建筑的灯、门窗等也纳入控制范围,适当降低控制室内负荷,减少能耗。

3. 讨论

尽管大量的研究结果表明,基于大数据的空调系统优化控制技术在理论和模拟层面展现出较好的性能,但是缺乏实际的测试效果,且这些技术在向实际工程应用转化过程中仍存在一些障碍和挑战,需要进一步深入探讨。

首先,大部分研究依赖于仿真环境(如TRNSYS、Energy Plus等),这些工具在参数设置和边界条件上往往基于理想化或简化假设。虽然这种方式能够较好地捕捉系统的宏观能耗规律,但仍难以全面反映真实建筑系统的复杂性和不确定性。

其次,不少研究的控制方法都是基于RL控制,但是这些方法在投入实际工程使用时往往比较困难。因为RL是通过试错法来学习最优控制方法,所以学习初期可能会引入不良的控制操作,从而影响建筑室内环境和能耗,所以需要构建有成熟的BAS系统,提供大量的历史数据或者基于高保真建筑模型为RL提供一个离线学习环境[65],因此控制方法的可推广性相对较弱。再者,强化学习和数据驱动方法往往依赖大量训练数据,但在面对突发工况(如设备故障、极端气象条件)时,其稳定性和鲁棒性可能不足。此外,模型训练和推理的计算复杂度,也可能限制其在实时控制场景下的应用,可以结合一些聚类算法加速收敛。

而基于神经网络控制也存在与基于RL控制类似的问题,即需要大量的训练数据,并且训练好的模型仅针对提供样本数据的建筑、设备具有较好的性能,所以泛化能力有限,在不同的建筑、设备上使用时需要提供相应的数据。

综上所述,尽管基于大数据的优化控制方法在建筑能耗管理与空调系统控制中有广阔前景,但在实际推广应用前,仍需针对上述挑战开展进一步研究与验证,以推动从理论模型到工程实践的真正落地。

4. 结论与展望

目前针对大数据的空调系统优化控制方法大多是基于RL、DRL和NN控制。前两种多是基于环境状态反馈给出控制操作,既可以模型控制也可以无模型控制,如果环境状态是能预测得到的,也可以实现预测控制。第三种基于NN控制,一般是预测控制,分为两种情况,其一是输入参数不包含控制对象,预测结果作为已知值代入,用于求解优化问题;其二是控制参数作为NN模型的输入参数,当预测值满足条件(通常是能耗最小)即可确定控制参数,执行控制操作,否则重新循环直到预测值满足要求为止。这些控制方法相较于传统控制或改造前的控制方法,都有一定程度的节能效果,同时可以保证环境舒适度。

但是现阶段大部分研究的控制效果仍源自于模拟测试,其结果可能因为模型简化等问题与实际的节能效果有出入,所以未来研究可以增加实际测试;另外,在实际案例检索过程中发现,现实空调系统的控制方法改造仍比较落后,未来可以考虑提出一些适用于现有建筑空调系统的轻量化改造方法,提高控制方法在实际工程中的可操作性。

NOTES

*通讯作者。

参考文献

[1] Okafor, V., Ezeanya, N., Nwandikom, G. and Okereke, N. (2019) Energy Saving Potential, Environmental and Economic Importance of Evaporative Cooling System: A Review. European Journal of Advances in Engineering and Technology, 6, 34-45.
[2] Chen, Z., Xu, P., Feng, F., Qiao, Y. and Luo, W. (2021) Data Mining Algorithm and Framework for Identifying HVAC Control Strategies in Large Commercial Buildings. Building Simulation, 14, 63-74. [Google Scholar] [CrossRef
[3] Minoli, D., Sohraby, K. and Occhiogrosso, B. (2017) IoT Considerations, Requirements, and Architectures for Smart Buildings—Energy Optimization and Next-Generation Building Management Systems. IEEE Internet of Things Journal, 4, 269-283. [Google Scholar] [CrossRef
[4] Fathollahzadeh, M.H. and Tabares-Velasco, P.C. (2022) Integrated Framework for Optimization of Air-and Water-Side HVAC Systems to Minimize Electric Utility Cost of Existing Commercial Districts. Energy and Buildings, 273, Article 112328. [Google Scholar] [CrossRef
[5] Ma, S., Zou, Y. and Li, S. (2021) Coordinated Control for Air Handling Unit and Variable Air Volume Boxes in Multi-Zone HVAC System. Journal of Process Control, 107, 17-26. [Google Scholar] [CrossRef
[6] Deng, X., Zhang, Y., Zhang, Y. and Qi, H. (2022) Toward Smart Multizone HVAC Control by Combining Context-Aware System and Deep Reinforcement Learning. IEEE Internet of Things Journal, 9, 21010-21024. [Google Scholar] [CrossRef
[7] Chen, B., Cai, Z. and Bergés, M. (2020) Gnu-RL: A Practical and Scalable Reinforcement Learning Solution for Building HVAC Control Using a Differentiable MPC Policy. Frontiers in Built Environment, 6, Article ID: 562239. [Google Scholar] [CrossRef
[8] Wang, Z., Calautit, J., Wei, S., Tien, P.W. and Xia, L. (2022) Real-Time Building Heat Gains Prediction and Optimization of HVAC Setpoint: An Integrated Framework. Journal of Building Engineering, 49, Article 104103. [Google Scholar] [CrossRef
[9] Soleimani, M., Irani, F.N., Yadegar, M. and Davoodi, M. (2024) Multi-Objective Optimization of Building HVAC Operation: Advanced Strategy Using Koopman Predictive Control and Deep Learning. Building and Environment, 248, Article 111073. [Google Scholar] [CrossRef
[10] Merema, B., Saelens, D. and Breesch, H. (2022) Demonstration of an MPC Framework for All-Air Systems in Non-Residential Buildings. Building and Environment, 217, Article 109053. [Google Scholar] [CrossRef
[11] Faiz, M.F., Sajid, M., Ali, S., Javed, K. and Ayaz, Y. (2023) Energy Modeling and Predictive Control of Environmental Quality for Building Energy Management Using Machine Learning. Energy for Sustainable Development, 74, 381-395. [Google Scholar] [CrossRef
[12] Peng, Y., Nagy, Z. and Schlüter, A. (2019) Temperature-Preference Learning with Neural Networks for Occupant-Centric Building Indoor Climate Controls. Building and Environment, 154, 296-308. [Google Scholar] [CrossRef
[13] Yu, L., Xu, Z., Zhang, T., Guan, X. and Yue, D. (2022) Energy-Efficient Personalized Thermal Comfort Control in Office Buildings Based on Multi-Agent Deep Reinforcement Learning. Building and Environment, 223, Article 109458. [Google Scholar] [CrossRef
[14] Shin, M., Kim, S., Kim, Y., Song, A., Kim, Y. and Kim, H.Y. (2024) Development of an HVAC System Control Method Using Weather Forecasting Data with Deep Reinforcement Learning Algorithms. Building and Environment, 248, Article 111069. [Google Scholar] [CrossRef
[15] Khattar, M.K. and Brandemuehl, M.J. (2002) Separating the V in HVAC: A Dual-Path Approach. ASHRAE Journal, 44, Article 37.
[16] Ren, C. and Cao, S. (2019) Development and Application of Linear Ventilation and Temperature Models for Indoor Environmental Prediction and HVAC Systems Control. Sustainable Cities and Society, 51, Article 101673. [Google Scholar] [CrossRef
[17] Li, W., Wang, S. and Koo, C. (2021) A Real-Time Optimal Control Strategy for Multi-Zone VAV Air-Conditioning Systems Adopting a Multi-Agent Based Distributed Optimization Method. Applied Energy, 287, Article 116605. [Google Scholar] [CrossRef
[18] Yoon, Y.R. and Moon, H.J. (2019) Performance Based Thermal Comfort Control (PTCC) Using Deep Reinforcement Learning for Space Cooling. Energy and Buildings, 203, Article 109420. [Google Scholar] [CrossRef
[19] Liu, H., Balaji, B., Gao, S., Gupta, R. and Hong, D. (2022) Safe HVAC Control via Batch Reinforcement Learning. 2022 ACM/IEEE 13th International Conference on Cyber-Physical Systems (ICCPS), Milano, 4-6 May 2022, 181-192. [Google Scholar] [CrossRef
[20] Afroz, Z., Shafiullah, G.M., Urmee, T., Shoeb, M.A. and Higgins, G. (2022) Predictive Modelling and Optimization of HVAC Systems Using Neural Network and Particle Swarm Optimization Algorithm. Building and Environment, 209, Article 108681. [Google Scholar] [CrossRef
[21] Valladares, W., Galindo, M., Gutiérrez, J., Wu, W., Liao, K., Liao, J., et al. (2019) Energy Optimization Associated with Thermal Comfort and Indoor Air Control via a Deep Reinforcement Learning Algorithm. Building and Environment, 155, 105-117. [Google Scholar] [CrossRef
[22] Lei, Y., Zhan, S., Ono, E., Peng, Y., Zhang, Z., Hasama, T., et al. (2022) A Practical Deep Reinforcement Learning Framework for Multivariate Occupant-Centric Control in Buildings. Applied Energy, 324, Article 119742. [Google Scholar] [CrossRef
[23] Png, E., Srinivasan, S., Bekiroglu, K., Chaoyang, J., Su, R. and Poolla, K. (2019) An Internet of Things Upgrade for Smart and Scalable Heating, Ventilation and Air-Conditioning Control in Commercial Buildings. Applied Energy, 239, 408-424. [Google Scholar] [CrossRef
[24] American Society of Heating, Refrigerating and Air-Conditioning Engineers (2007) ASHRAE Handbook-Fundamentals. ASHRAE.
[25] Chae, S., Bae, S. and Nam, Y. (2023) Performance Improvement of Air-Source Heat Pump via Optimum Control Based on Artificial Neural Network. Energy Reports, 10, 460-472. [Google Scholar] [CrossRef
[26] He, K., Fu, Q., Lu, Y., Wang, Y., Luo, J., Wu, H., et al. (2023) Predictive Control Optimization of Chiller Plants Based on Deep Reinforcement Learning. Journal of Building Engineering, 76, Article 107158. [Google Scholar] [CrossRef
[27] Sun, Y., Xue, H., Wang, W., Wu, S., Wu, Y., Hong, Y., et al. (2020) Development of an Optimal Control Method of Chilled Water Temperature for Constant-Speed Air-Cooled Water Chiller Air Conditioning Systems. Applied Thermal Engineering, 180, Article 115802. [Google Scholar] [CrossRef
[28] Yue, B., Su, B., Xiao, F., Li, A., Li, K., Li, S., et al. (2023) Energy-Oriented Control Retrofit for Existing HVAC System Adopting Data-Driven MPC—Methodology, Implementation and Field Test. Energy and Buildings, 295, Article 113286. [Google Scholar] [CrossRef
[29] Lee, D., Lin, C., Lai, C. and Huang, T. (2021) Smart-Valve-Assisted Model-Free Predictive Control System for Chiller Plants. Energy and Buildings, 234, Article 110708. [Google Scholar] [CrossRef
[30] Dai, M., Li, H. and Wang, S. (2023) A Reinforcement Learning-Enabled Iterative Learning Control Strategy of Air-Conditioning Systems for Building Energy Saving by Shortening the Morning Start Period. Applied Energy, 334, Article 120650. [Google Scholar] [CrossRef
[31] Taylor, S.T. (2017) Fundamentals of Design and Control of Central Chilled-Water Plants.
https://www.ashrae.org/professional-development/self-directed-learning-group-learning-texts/fundamentals-of-design-and-control-of-central-chilled-water-plants
[32] Qiu, S., Li, Z., Li, Z., Li, J., Long, S. and Li, X. (2020) Model-Free Control Method Based on Reinforcement Learning for Building Cooling Water Systems: Validation by Measured Data-Based Simulation. Energy and Buildings, 218, Article 110055. [Google Scholar] [CrossRef
[33] Su, B. and Wang, S. (2020) An Agent-Based Distributed Real-Time Optimal Control Strategy for Building HVAC Systems for Applications in the Context of Future IoT-Based Smart Sensor Networks. Applied Energy, 274, Article 115322. [Google Scholar] [CrossRef
[34] Kim, T.Y., Lee, J.M., Yoon, Y. and Lee, K.H. (2021) Application of Artificial Neural Network Model for Optimized Control of Condenser Water Temperature Set-Point in a Chilled Water System. International Journal of Thermophysics, 42, Article No. 172. [Google Scholar] [CrossRef
[35] Han, Z., Fu, Q., Chen, J., Wang, Y., Lu, Y., Wu, H., et al. (2022) Deep Forest-Based DQN for Cooling Water System Energy Saving Control in HVAC. Buildings, 12, Article 1787. [Google Scholar] [CrossRef
[36] Wang, P., Sun, J., Yoon, S., Zhao, L. and Liang, R. (2024) A Global Optimization Method for Data Center Air Conditioning Water Systems Based on Predictive Optimization Control. Energy, 295, Article 130925. [Google Scholar] [CrossRef
[37] He, K., Fu, Q., Lu, Y., Ma, J., Zheng, Y., Wang, Y., et al. (2024) Efficient Model-Free Control of Chiller Plants via Cluster-Based Deep Reinforcement Learning. Journal of Building Engineering, 82, Article 108345. [Google Scholar] [CrossRef
[38] Fu, Q., Chen, X., Ma, S., Fang, N., Xing, B. and Chen, J. (2022) Optimal Control Method of HVAC Based on Multi-Agent Deep Reinforcement Learning. Energy and Buildings, 270, Article 112284. [Google Scholar] [CrossRef
[39] Yeon, S.H., Yoon, Y., Kang, W.H., Lee, J.H., Song, K.W., Chae, Y.T., et al. (2023) Lower and Upper Threshold Limit for Artificial Neural Network Based Chilled and Condenser Water Temperatures Set-Point Control in a Chilled Water System. Energy Reports, 9, 6349-6361. [Google Scholar] [CrossRef
[40] Cen, J., Zeng, L., Liu, X., Wang, F., Deng, S., Yu, Z., et al. (2024) Research on Energy-Saving Optimization Method for Central Air Conditioning System Based on Multi-Strategy Improved Sparrow Search Algorithm. International Journal of Refrigeration, 160, 263-274. [Google Scholar] [CrossRef
[41] Ghasemipour, S., Sameti, M. and Sharma, M.K. (2024) Annual Comparative Performance of Direct Expansion Solar-Assisted and Air-Source Heat Pumps for Residential Water Heating. International Journal of Thermofluids, 22, Article 100651. [Google Scholar] [CrossRef
[42] Chua, K.J., Chou, S.K. and Yang, W.M. (2010) Advances in Heat Pump Systems: A Review. Applied Energy, 87, 3611-3624. [Google Scholar] [CrossRef
[43] Staffell, I., Brett, D., Brandon, N. and Hawkes, A. (2012) A Review of Domestic Heat Pumps. Energy & Environmental Science, 5, 9291-9306. [Google Scholar] [CrossRef
[44] Wei, Z., Ren, F., Yue, B., Ding, Y., Zheng, C., Li, B., et al. (2022) Data-Driven Application on the Optimization of a Heat Pump System for District Heating Load Supply: A Validation Based on Onsite Test. Energy Conversion and Management, 266, Article 115851. [Google Scholar] [CrossRef
[45] Wang, G., Wang, H., Kang, Z. and Feng, G. (2020) Data-Driven Optimization for Capacity Control of Multiple Ground Source Heat Pump System in Heating Mode. Energies, 13, Article 3595. [Google Scholar] [CrossRef
[46] Rohrer, T., Frison, L., Kaupenjohann, L., Scharf, K. and Hergenröther, E. (2023) Deep Reinforcement Learning for Heat Pump Control. In: Arai, K., Ed., Lecture Notes in Networks and Systems, Springer, 459-471. [Google Scholar] [CrossRef
[47] Barma, M.C., Saidur, R., Rahman, S.M.A., Allouhi, A., Akash, B.A. and Sait, S.M. (2017) A Review on Boilers Energy Use, Energy Savings, and Emissions Reductions. Renewable and Sustainable Energy Reviews, 79, 970-983. [Google Scholar] [CrossRef
[48] Aoun, N., Bavière, R., Vallée, M., Aurousseau, A. and Sandou, G. (2019) Modelling and Flexible Predictive Control of Buildings Space-Heating Demand in District Heating Systems. Energy, 188, Article 116042. [Google Scholar] [CrossRef
[49] Zhang, Z., Chong, A., Pan, Y., Zhang, C. and Lam, K.P. (2019) Whole Building Energy Model for HVAC Optimal Control: A Practical Framework Based on Deep Reinforcement Learning. Energy and Buildings, 199, 472-490. [Google Scholar] [CrossRef
[50] Brandi, S., Piscitelli, M.S., Martellacci, M. and Capozzoli, A. (2020) Deep Reinforcement Learning to Optimise Indoor Temperature Control and Heating Energy Consumption in Buildings. Energy and Buildings, 224, Article 110225. [Google Scholar] [CrossRef
[51] Homod, R.Z., Munahi, B.S., Mohammed, H.I., Albadr, M.A.A., Abderrahmane, A., Mahdi, J.M., et al. (2024) Deep Clustering of Reinforcement Learning Based on the Bang-Bang Principle to Optimize the Energy in Multi-Boiler for Intelligent Buildings. Applied Energy, 356, Article 122357. [Google Scholar] [CrossRef
[52] Saloux, E., Runge, J. and Zhang, K. (2023) Operation Optimization of Multi-Boiler District Heating Systems Using Artificial Intelligence-Based Model Predictive Control: Field Demonstrations. Energy, 285, Article 129524. [Google Scholar] [CrossRef
[53] Runge, J. and Saloux, E. (2023) A Comparison of Prediction and Forecasting Artificial Intelligence Models to Estimate the Future Energy Demand in a District Heating System. Energy, 269, Article 126661. [Google Scholar] [CrossRef
[54] Tsoumalis, G.I., Bampos, Z.N., Chatzis, G.V., Biskas, P.N. and Keranidis, S.D. (2021) Minimization of Natural Gas Consumption of Domestic Boilers with Convolutional, Long-Short Term Memory Neural Networks and Genetic Algorithm. Applied Energy, 299, Article 117256. [Google Scholar] [CrossRef
[55] Sun, Y., Wang, S. and Huang, G. (2009) Chiller Sequencing Control with Enhanced Robustness for Energy Efficient Operation. Energy and Buildings, 41, 1246-1255. [Google Scholar] [CrossRef
[56] Wang, J. and Zhao, T. (2024) Medium Spatiotemporal Characteristics Based Global Optimization Method for Energy Efficiency Trade-Off Issue in Variable Flow Rate HVAC System. Applied Thermal Engineering, 247, Article 123132. [Google Scholar] [CrossRef
[57] Niu, J., Zhou, R., Tian, Z., Zhu, J., Lu, Y. and Ma, J. (2023) Energy-Saving Potential Analysis for a 24-Hour Operating Chiller Plant Using the Model-Based Global Optimization Method. Journal of Building Engineering, 69, Article 106213. [Google Scholar] [CrossRef
[58] Wang, Z., Zhao, Y., Zhang, C., Ma, P. and Liu, X. (2022) A General Multi Agent-Based Distributed Framework for Optimal Control of Building HVAC Systems. Journal of Building Engineering, 52, Article 104498. [Google Scholar] [CrossRef
[59] Hadjiski, M., Sgurev, V. and Boishina, V. (2006) Multi Agent Intelligent Control of Centralized HVAC Systems. IFAC Proceedings Volumes, 39, 195-200. [Google Scholar] [CrossRef
[60] Jee, H.J., Yeon, S.H., Park, J., Yoon, Y. and Lee, K.H. (2023) Machine Learning Based Simultaneous Control of Air Handling Unit Discharge Air and Condenser Water Temperatures Set-Point for Minimized Cooling Energy in an Office Building. Energy and Buildings, 297, Article 113471. [Google Scholar] [CrossRef
[61] Wang, J., Hou, J., Chen, J., Fu, Q. and Huang, G. (2021) Data Mining Approach for Improving the Optimal Control of HVAC Systems: An Event-Driven Strategy. Journal of Building Engineering, 39, Article 102246. [Google Scholar] [CrossRef
[62] Homod, R.Z., Yaseen, Z.M., Hussein, A.K., Almusaed, A., Alawi, O.A., Falah, M.W., et al. (2023) Deep Clustering of Cooperative Multi-Agent Reinforcement Learning to Optimize Multi Chiller HVAC Systems for Smart Buildings Energy Management. Journal of Building Engineering, 65, Article 105689. [Google Scholar] [CrossRef
[63] Zou, Z., Yu, X. and Ergan, S. (2020) Towards Optimal Control of Air Handling Units Using Deep Reinforcement Learning and Recurrent Neural Network. Building and Environment, 168, Article 106535. [Google Scholar] [CrossRef
[64] Homod, R.Z., Togun, H., Kadhim Hussein, A., Noraldeen Al-Mousawi, F., Yaseen, Z.M., Al-Kouz, W., et al. (2022) Dynamics Analysis of a Novel Hybrid Deep Clustering for Unsupervised Learning by Reinforcement of Multi-Agent to Energy Saving in Intelligent Buildings. Applied Energy, 313, Article 118863. [Google Scholar] [CrossRef
[65] Yang, L., Nagy, Z., Goffin, P. and Schlueter, A. (2015) Reinforcement Learning for Optimal Control of Low Exergy Buildings. Applied Energy, 156, 577-586. [Google Scholar] [CrossRef