基于深度学习和街景图像的城市绿化评价系统开发

Development of an Urban Greenery Evaluation System Based on Deep Learning and Street View Images

摘要: 基于城市空间环境品质的提升，本研究深入探讨了基于街景地图和人工智能深度学习技术，从人的视角测量城市街道空间绿化率的方法和评估模式。通过对城市街道空间街景图像进行收集，利用深度学习语义分割技术对街景图像中的植物进行识别，构建自动化的城市街道空间绿视率计算模型。同时，构建了城市街道空间行人视角绿化空间品质的可视化评估模型。本研究力图通过科学规划与设计促进城市街道空间绿化品质的提升，旨在为城市品质的提升、居民生活福祉的增进，以及公园城市可持续发展目标的推进，贡献一份力量与参考。

Abstract: Based on the improvement of urban spatial environmental quality, this study deeply explores the methods and evaluation models for measuring the greening rate of urban street space from a human perspective based on street view maps and artificial intelligence deep learning technology. By collecting urban streetscape images, we utilize deep learning semantic segmentation technology to identify plants within these images, thereby constructing an automated model for calculating the green visibility rate of urban street spaces. At the same time, an evaluation model for the quality of green space from the perspective of pedestrians in urban street space was constructed. This study explores how to promote the improvement of the greening quality of urban street space through scientific planning and design, aiming to contribute to the improvement of urban quality, the enhancement of residents’ well-being, and the promotion of the sustainable development goals of park cities.

1. 简介

城市街道是城市中心以及人类活动的焦点，市民通过街景与城市环境互动。城市街道绿化早已被认为是城市景观的重要组成部分[1]，与人们的身心健康密切相关[2]。

在相关研究中证实，人们所接收的环境信息90%来源于视觉感知。在城市管理领域，可视化城市空间环境成为改善环境质量的重要途径。过去针对城市空间环境的研究大多采用实地调查、访谈、统计等方式来评估城市的绿化量，以更好地了解城镇的绿化水平。20世纪70年代以来，多尺度遥感图像(RS)为城市绿化评价提供了一种新的途径[3]，使得研究人员可以在更大尺度上评估城市绿化环境。然而，这种方法却有明显的局限性，因为它们是从鸟瞰尺度来评价城市的绿化水平，而居民对城市绿色空间的典型视角是从街道的剖面角度获得的。因此，通过多尺度遥感影像评估的城市绿化环境不能准确代表行人对城市街道空间绿化的感知。

为了克服这些局限性，一些研究者开始使用街景图像来评估街道空间视角的城市绿化。例如网络上的街景图像服务提供商(如谷歌、腾讯、百度)，允许研究人员虚拟地浏览由地理标记的街道级图像组成的城市空间[4]。

因此，本次研究的目的是开发一个基于大量街景图像和深度学习算法的城市绿化水平评估系统，以自动计算城市街道空间尺度的绿视率(GVI)，并且通过展示该系统在评估行人对街道绿化水平感知的应用。最后，研究绿视率与城市绿化的关系，以寻找其在城市景观规划设计和环境空间质量管理中的应用。

2. 文献综述

2.1. 街景图像在城市研究中的应用

众所周知，谷歌、腾讯和百度是全球最具代表性的三家街景地图服务提供商。除了发布街景地图服务供用户浏览外，他们还发布了应用程序接口(API)，供开发人员定制网页应用程序。街景图像是城市研究的一个有用的潜在数据源，包括3D城市模型构建[5]、商业实体识别[6]、公共环境评估[7]。甚至还可以被用于地面、行人、建筑物和天空的图像因素解析。

在城市规划领域，越来越多的研究人员使用街景图像作为评估城市各类环境空间要素的工具。然而，目前的大部分工作仍然基于人工对街景图像的识别。随着计算机科学和图像识别技术的发展，能够自动识别图片并提取图像信息的计算机图像技术已经越来越成熟。将街景图像与计算机图像技术结合应用于城市规划领域，不仅可以解决传统研究方法耗时的问题，还可以帮助城市规划者从新的视角来评估我们的城市空间。

2.2. 应用绿视率(GVI)评价环境绿化质量

绿化在城市环境质量研究中一直被列为重要因素。自20世纪50年代起，奥姆斯特德开始将城市公园改革和街道设计与自然环境和生活空间相结合。20世纪80年代后期，城市规划者开始规划大规模的绿化网络，以吸引居民进入城市的开放空间参与活动。绿化的另一个重要贡献是，它能够在一定程度上缓解空气污染和城市热岛效应。因此，过去对于绿化更多的研究集中在功能性方面，对其能产生的视觉效应或审美价值方面关注度较少。一些环境心理学家的研究认为，人们的心理感受与环境中的绿色量密切相关。1981年，日本国立环境研究所提出了定量统计分析方法，以识别影响特定心理变化的重要刺激源，并识别出环境绿化是能产生积极主观感受的重要刺激源。随后，该所研究员正式提出“绿色可视值”概念[8]，指出绿色可视值是人眼视野范围内绿色空间所占百分比。青木洋二总结了日本自1974年以来对视觉绿化的研究，证实了街道绿量与人的心理活动之间存在正相关联系，这一物理量可以作为环境绿化的景观评价因子[9]。

在此之后，许多研究者尝试用不同的方法测量绿色可视值，以定量评价城市绿化环境。杨等人提出了一种通过实地调查和人工拍摄相结合的方法来评估城市绿化可见度[10]，但这种方法严重依赖人力，既费力又容易出错。李等人提出了一种通过分析街景图像来估算绿色可视值的方法[11]，该方法是通过Abode Photoshop对图像中的绿色区域进行人工识别，即基于像素的颜色识别。但仍需要耗费大量人力资源才能完成。梁等人采用基于SegNet的计算机视觉方法，利用SVP数据集对区域内可见景观要素进行分割并量化占比[12]。井上等人开发了一种新的GVI自动估算系统，具有实时估算功能[13]。龚等人采用另一种像素级语义分割方法[14]，即金字塔场景解析网络(PSPNet)，从全景街景图片数据集中提取天空、树木和建筑物，并将其应用于中国香港的城市街景绿化分析。

3. 研究方法

3.1. 街景图片抓取

GSV (谷歌街景图像)是Google Maps和Google Earth Center提供的免费在线街景地图服务。它提供了几种类型的应用程序编程接口(API)，允许用户抓取静态图像和360˚全景数据。

通过导入之前获取的街道样本站点数据，我们可以获得每个站点不同垂直视角的图像，覆盖360˚水平周围环境。

3.2. 使用GSV图像计算GVI值

杨等人定义了“绿景指数”来评价城市绿地的可见性[10]，其定义为在街道交叉口拍摄的四张照片的总绿化面积与四张照片总面积的比例，使用以下公式获得：

$GVI=\frac{{{\displaystyle \sum }}_{i=1}^{m}Are{a}_{g\_i}}{{{\displaystyle \sum }}_{i=1}^{m}Are{a}_{t\_i}}\times 100\%$

其中，$Are{a}_{g\_i}$ 为某个路口在第i个方向拍摄的图像中绿色像素总数，$Are{a}_{t\_i}$ 为在第i个方向拍摄的图像的总像素数。参数m为水平面上不同方向拍摄的图像数量。本研究中，我们将利用GSV图像，按照此公式测算GVI。

3.3. 基于深度学习的GSV图像分割

Li和Ratti提出了一种使用计算机深度学习和语义分割技术从街景图像中识别绿色和蓝色空间的方法[15]。随着人工智能技术的发展，深度学习在图像识别任务中表现良好。因此在本研究中，我们建议使用全卷积神经网络进行语义分割(即DeepLab V3)提取GSV图像中常见的城市街道空间景观要素(例如植被、天空)。通过将街景图像输入到训练好的网络中，我们可以获得已识别的语义分割图像，包括植被、天空、建筑物等，如图1所示。

Figure 1. Image segmentation results

图1. 图像分割结果

4. 验证和结果

4.1. GSV图像的GVI分割

图2是基于语义分割系统对4幅GSV影像的语义分割结果。图2(c)是基于该系统的初步植被分类结果。与原始GSV影像(图2(a))相比，GSV影像中的大部分绿色植被像素在预分类图像中被正确识别出来。为了验证提取结果的准确性，我们通过Adobe Photoshop软件对原始街景图像中的绿色植物进行了手动标注。图2(b)显示了手动提取的绿色植物的结果。最后一列是基于公式(1)计算出的这些采样点的GVI值。至于图像语义分割结果的准确性，我们将在下一部分展示。

Figure 2. Green vegetation extraction results and references, (a) original GSV images, (b) manually extracted green vegetation, (c) segmentation results based on DeepLab V3, (d) GVI values obtained by our system

图2. 绿色植被提取结果及参考文献，(a) 原始GSV图像，(b) 手动提取的绿色植被，(c) 基于DeepLab V3的分割结果，(d) 我们系统获得的GVI值

通过语义分割，我们可以自动得到19个类别的图像比例，包括道路、建筑物、植被、天空、汽车、行人等。利用这些数据可以帮助我们评估城市环境空间质量，例如GVI和天空视野因子(SVF)。

4.2. GVI准确性验证

为了进一步验证语义分割的准确性，从GSV影像中随机选取100幅，通过Adobe Photoshop手动标注，系统自动计算得到这100幅影像的GVI值。散点图(图3)显示了本文图像语义识别得到的GVI值与基于Adobe Photoshop手动标注的参考数据计算得到的GVI值之间的关系。GVI值分布在1:1线附近，回归系数高达0.9809，说明两种方法计算得到的GVI值较为接近。此外，均方根误差(RMSE)为0.018，说明基于本研究所提出的方法得到的GVI值具有较高的准确性。通过对GVI数据的验证，表明该系统可用于城市绿化质量评价。

Figure 3. Scatter plot of green landscape index values calculated using the suggested automatic classification method and reference data manually drawn using Photoshop

图3. 使用建议的自动分类方法计算出的绿地景观指数值与使用Photoshop手动描绘的参考数据的散点图

4.3. GVI可视化评估模型

通过选取案例研究区域，对上文提到的绿视率计算模型进行实证，并通过GIS将绿化评估结果可视化(图4)。研究区域拥有广泛的绿色城市肌理，公园和花园约占总面积的20%，并包含大量的植物形态，可用于衡量和了解绿化质量。绿化的多样性(如街道绿化、庭院绿化和私人绿化)提供了丰富的研究对象，通过调查该区域获得的数据将为评估拟议方法提供有用的框架。

研究区PVGVI的分布显示了研究区域所有采样点的PVGVI值(图5)。PVGVI值范围为0.019~0.729，平均值为0.25。街道周围的绿化不够“绿”，当GVI至少为0.3时，大多数人对街道景观的印象是良好的，会觉得绿化质量够高。但研究区域大部分街道为红色，低于平均值0.25，意味着这些街道需要改善绿色界面。

从PVGVI频率分布图中可以看到，大部分街道绿化的值均大于0.3，主要原因是主要街道沿线有较多行道树和公园，远处的山脉也提供了绿色背景，也提高了PVGVI值。同时研究区北部居民区PVGVI值较低，主要是北部居民区多为院落形式的绿化，隐藏了大部分植被。可以通过采用灌木和藤蔓围墙代替墙壁来增加绿化。

Figure 4. Visualization of green vision assessment results in the study area

图4. 研究区域绿视率评估结果可视化

Figure 5. Results and frequency distribution of the panoramic green landscape index (PVGVI) in the study area

图5. 研究区域全景绿景指数(PVGVI)结果和频率分布图

5. 结论与展望

街道绿化是影响城市景观的关键因素，也是城市生态系统的重要组成部分，与城市居民的身心健康有直接的关联。本研究成功构建了一个基于街景图像的城市绿视率可视化评估模型。通过该模型，我们实现了对城市绿化状况的全面、精准评估。模型首先收集了大量的街景图像数据，并经过精细的图像预处理，确保了数据的准确性和可靠性。随后，利用先进的图像处理技术，我们计算了各区域的绿视率，并将这些数据以直观的可视化形式呈现出来。

经过实际应用和验证，该模型展现出了强大的性能和准确性。它不仅能够精确地反映城市的绿化水平，还能够揭示出绿化分布的不均衡性和潜在的提升空间。通过地图叠加和图表展示等可视化手段，我们得以直观地了解到城市绿化的整体状况和局部细节，为城市规划和管理提供了有力的决策支持。

综上所述，本研究提出的基于街景图像的城市绿视率可视化评估模型，为城市绿化评估提供了一种新的、有效的方法。它不仅能够提升城市绿化的管理效率，还能够促进城市生态环境的持续改善，对于推动城市可持续发展具有重要意义。本研究提出的城市绿化评价体系可以帮助城市规划者和管理者更好地理解城市街景对城市环境感知的影响。

然而，本次研究提出的基于街景图像和深度学习技术评估城市街道空间绿视率的方法虽可替代人工测量，但仍存在一些亟待解决的限制问题。首先是图像语义分割的准确率有待进一步提高。在未来的研究中，我们计划自己标注训练数据集，然后用其训练现有的模型，以获得更强大的细分框架并优化分割方法。其次，由于街景图像的采集时间不一致，批量收集的街景图像可能拍摄于不同季节，导致无法准确评估某一时段内的街道绿化水平。但随着无人机技术的发展，并逐渐应用于城市研究，在未来的研究中我们可以结合无人机对街道绿化的动态变化进行检测和监测，用于提供更加准确的城市景观规划研究数据源。

本研究提出了基于街景影像和深度学习技术的城市街道绿化自动评估系统，展示了人工智能与城市规划研究相结合的发展方向，能够为城市空间研究的更多方面提供启发。