1. 引言
近年来，江苏省水上危险品运输品种和数量双双增加，大约60%以上的化学品和石油类制品通过江苏内河水域运输。内河航运极大地促进了区域经济建设和社会发展，连接起了国内许多城市的共同发展，是我国实现经济建设可持续发展的重要战略资源。
相较于发达国家，我国内河航道管理模式比较陈旧、落后，管理水平偏低，仍然以人工指挥为主，已经无法满足安全有效地控制河段航行的需求，内河航运的监管系统亟需创新方法、创新技术、创新装备以提升其效能，以保障船舶在通过桥洞、闸道等特殊航段时的安全。
目前，应用于监控系统的AIS通信采用VHF频段，其通信覆盖距离与其他VHF设备一样，都是电波直线传播，天线的高度决定通信传播距离。而内河航道水域广阔，需要大宽带的通信技术确保实时传输监控视频。5G高速率、低时延、高可靠性的优点确保了视频传输的实时性和安全性，对于船舶行驶过程中无法建设5G基站的区域，将采用低轨卫星通信进行数据传输。
南京地处长江下游沿岸，水运资源发达。南京港是全国最大的内河港口。内河航运在目前交通运输业依然占有重要地位，具有价格低、运输量大、能耗低等优点，能够有效节约能源消耗，保护环境。虽然内河航道的运输有了很大的发展，但在现代化和信息化建设上存在一些不足，如内河航道的监控系统。
内河航运的监控系统存在一些不足：通信平台建设困难、5G基站无法满足密集铺设的要求，船舶行驶途中会出现信号中断问题、传统的摄像头监控容易受到气候、光线的影响，对于水深估计不准确，对于船舶的检测存在延时等。
通过基于5G/低轨卫星通信的高清视频传输可以更好地改进监控系统，从而提高系统中各个功能模实现的准确度和鲁棒性。
对于内河船舶来说，在航行过程中不但需要对自身航行有系统的控制，也需要准确掌握航道的实时信息，同控制中心、岸端、其他船舶有必要的沟通和交流，从而更好地提升航行质量，保障航行的安全性，而现代通信技术的快速发展将进一步完善船舶的通信能力，提升运行质量。
水运作为交通运输业不可或缺的一部分，应该积极响应，大力促进水运智能化发展。5G的到来给航运业带来巨大的变革，同时结合低轨卫星通信、北斗导航系统，加速智能船时代的到来。
2. 内河航道应用的系统架构
内河航道应用的系统架构图如图1所示，主要分为内河航道监控系统和通信平台架构 [1] 两个模块。监控系统可以实现的功能主要包括：船舶检测、船舶跟踪、船舶长宽检测、船舶速度检测、船舶流量统计；监控系统功能的实现依靠通信平台的架构，传统的通信技术，如光纤通信、4G通信、AIS通信、GPS等，无法满足监控系统所要求的低时延、高速率的视频传输要求，论文提出构建基于5G、低轨卫星通信、北斗的通信平台，不仅可以满足高清实时的监控视频传输，准确高效的完成交通流信息(船舶流量、船舶尺寸、船舶速度)的实时采集、处理、跟踪和分析，方便管理人员远程控制，还可以满足用户端的各项航运服务需求，如不停船过闸、手机端缴费、导航等。
Figure 1. System architecture of inland waterway application
图1. 内河航道应用的系统架构
3. 船舶监控系统
3.1. 系统架构
船舶实时视频图像监测识别系统 [2] 研究涉及计算机视觉、数字图像处理、模式识别等多方面内容，是综合采用各种先进的交叉学科技术的应用型系统，旨在根据当前的内河监控视频图像，通过研究基于视频图像的摄像机标定、运动检测、匹配跟踪等技术，完成基于视频图像的监测识别的交通流信息(船舶流量、船舶尺寸、船舶速度)的实时采集、处理、跟踪和分析，提取相关的运动信息，并对航运信息进行综合分析，实现船舶超限、违章停靠等异常事件的检测，并对异常事件通过监控网络发布水路交通告警信息，对某些较复杂的问题将请求人为干预，以实现水路交通的智能化管理。监测识别系统图如图2所示，图像处理服务器接收监控视频图像，对接收到的视频图像进行视频ROI设置、摄像机标定、运动检测、目标跟踪，实现交通参数的提取和交通事件的检测，从而实现摄像机有效检测区域中船舶航行情况的监控。
Figure 2. Logical structure diagram of ship real-time video image monitoring and recognition system
图2. 船舶实时视频图像监测识别系统逻辑结构图
如图2所示的船舶实时视频图像检测识别系统逻辑结构图，在得到实时高清视频后，对视频进行ROI提取，提取出河道/航道区域，排除岸边等区域，利用摄像机标定，为ROI区域中某点的三维几何位置与其在图像中对应点的相互关系建立模型，通过相机标定可以在不同的相机角度下，矫正由于角度问题引起的图形畸变，生成矫正后的图像。将提取出的特征利用深度学习算法进行运动目标检测并跟踪，对跟踪到的目标进行交通事件检测，如超长超宽、违章停靠；同时进行交通流参数统计，如船舶长宽、船舶速度、交通流量。
3.2. 模块功能实现
实际测量中，即便使用了高质量摄像机对目标图像进行捕获，图像中仍然会存在噪声或与后续研究无关信息，即实际获得的图像一般都因受到某种干扰而有噪声。如果检测的目标运动速度过快，就会在图像中产生“拉毛”现象。所以在对图像进行处理之前，就必须选用某些特定的平滑滤波器对图像进行预处理，以改善图像质量、抑制不需要的变形或增强某些对于后续处理来说重要的图像特征。图像的平滑处理也称为图像的去噪声处理，它是为了消除图像中存在的噪声而对图像施加的一种处理。实行平滑化处理的方法大致分为两类：1) 空域法：直接对图像中的像素进行处理，基本上是以灰度映射变换为基础的，所用映射变换的类型取决于增强的目的；2) 频域法：在实验中采用中值滤波方法，是一种减少边缘模糊的非线性平滑方法。邻域中亮度的中值不受个别噪声毛刺的影响，因此中值平滑能相当好的消除冲激噪声。而且，由于中值滤波并不明显地模糊边缘，对后续的边界提取的影响不大，因此可以迭代使用。
对采集的视频图像信息进行ROI设置的预处理，预处理是对视频数据进行简单的空间或时间滤波，以消除摄像机噪声和雨雪等瞬时环境噪声，或者降低帧大小和帧率。然后将提取得到的特征利用深度学习算法进行运动检测、目标跟踪；在摄像机标定时，对于航道，其没有可以作为标定的参考物，基于确定的标定物的方法都将无法运作。利用一种交互式摄像机标定方法，通过操作者与计算机的简单交互，实现摄像机标定。
3.2.1. 交互式标定实现
交互式标定具体实现过程如图3所示，在交互式标定界面上，可以调整摄像机高度、焦距、俯仰角、偏角等参数，每一次调整之后都对应的网格模型都将刷新，操作者根据网格模型与实际情况的对比可以确认当前参数是否准确，可以任意选取两点计算其实际距离验证标定。
(a) 初始参数下的网格模型 
(b) 调整倾角后的网格模型 
(c) 调整偏角后的网格模型 
(d) 利用标定结果计算两点实际距离
Figure 3. Implementation of interactive calibration
图3. 交互式标定实现
3.2.2. 交通参数统计
交通流参数主要包括：船舶交通量、船舶速度、船舶长宽。船舶交通量是指在单位时间内通过某一水域的船舶数量，交通量的大小直接反映出该水域船舶交通的繁忙程度。交通流量检测是一个动态图像序列的理解问题，通过在监控区域设置两条虚拟线方式来检测船舶，当船舶的质心到达最近的虚拟线时，触发记录船舶的驶入时间、位置，当船舶的质心到达最外的虚拟线时，触发记录船舶的驶出时间、位置。船舶通过两条虚拟检测线，完成流量的统计，根据船舶行驶方向可以统计上、下行的船舶数量，如图4所示。利用交互式标定结果计算船舶的实际长宽，如图5所示。
Figure 4. Ship traffic flow statistics
图4. 船舶交通流量统计
3.2.3. 交通事件检测
船舶的异常行为检测主要包括船舶超长超宽检测、违区停靠检测。船舶在任何情况下均应以安全航速行驶，以便在险情出现的情况下能有充分的时间采取有效的避让操作，防止碰撞。当有异常行为发现，系统及时预警，便于执法部门及时处理问题。图6为船舶异常行为检测结构图。
Figure 6. Structural diagram of ship abnormal behavior detection
图6. 船舶异常行为检测结构图
• 超长超宽检测
一些超大型船舶进入一些低等级航道，超限船舶的船型波长期对航道边坡进行冲刷，造成部分航段淤浅，航漕损坏，从而使一些航道经常发生船舶堵档、搁浅，导致航道通行能力下降，影响了航道整体效益的发挥。
根据当前的内河监控视频图像，采用图像处理、计算机视觉以及模式识别技术，从中提取运动船舶及其流量、速度及长宽的航运信息，根据实际场景的条件，对船舶的长宽进行超限判断，并通过监控网络发布超限的告警信息，对某些较复杂的问题将请求人为干预。
船舶超长超宽检测的具体流程为：智能视觉服务器接收原始图像，实时处理计算船舶长、宽；数据存储服务器存储船舶长、宽数据；监控终端设置长宽限值计算条件，收看视觉服务器处理后的实时图像，在事件发生时发出声音告警，向数据存储服务器查询告警记录、调看截图/视频。
具体检测流程为当有船舶驶过时，系统根据获取的图像视频自动提取出运动船舶，经过后续图像处理获取其轮廓，并将其以矩形框框出，再根据其图像视频中轮廓大小及到摄像机距离判断其实际大小，从而估计出船舶的长、宽，并将信号发送至监控主机，智能嵌入式监控主机根据用户事先设定的计算条件判断船舶是否超限，并触动现场的报警装置，其检测结果如图7所示，阈值的设定由实际闸道口的长宽高、河面高度、内河过闸船舶主尺度的要求等决定，且该阈值可以由用户在终端根据实际需要来设置。
Figure 7. Ultra-long and ultra-wide detection results
图7. 超长超宽检测结果
• 违区停靠检测
通过对船舶的速度检测来判定船舶当前处于停止状态、行驶状态。不同状态的划分通过船舶当前瞬时速度与设定阈值的比较来判定。阈值的设定需要考虑当前的气候等级与通航密度，气候等级需要考虑日照情况、能见度、浪高等天气因素。如果船舶的瞬时速度Vi小于设定的阈值lowestth，则判定该船舶处于停止状态，若此时船舶在不允许停靠的河岸进行停靠，则判定船舶违章停靠，该违章区域可以由用户在终端根据实际的情况来进行设置；否则，船舶处于正常行驶状态。对于船舶跟踪链表中的每艘船舶，若出现违区停靠异常行为，系统进行相应的报警，检测结果如图8所示。
4. 内河航运通信平台架构
基于新一代通信技术的内河航运通信平台，将会加速航运业趋于智能化发展。航运不同于公路运输，一旦出现交通堵塞，一方面会造成重要物资的运输延误，造成运输船运价上涨，无法满足实际需求；另一方面也会造成港口货物积压。简化过闸流程，缩短船舶滞留时间会有很大的改善。目前采用人工对船舶及港口进行监控，依靠提出的通信平台，可以更加准确的对监控视频进行处理，省时省力。船舶的安全行驶离不开精确的导航地图，目前GPS系统易受到环境、设备等因素影响，北斗导航系统提供的高精度地图将更好助力船舶的安全行驶。
基于5G、低轨道卫星的通信平台架构，为航运带来便利。基于通信平台可以简化船舶过闸繁琐的手续，节省过闸时间；向地面终端提供高清实时监控视频；搭建船舶定位导航系统。
4.1. 船舶过闸收费
随着科技的迅速发展，智慧航运是交通运输业发展的新趋势。过去船舶过闸的流程：登记、收费 [3]、调度、船舶进闸、超载查补/强档处罚、过闸确认。船舶过闸流程必须设立远方调度站，增大了工程建设成本和运营成本；过闸手续全部由人工处理，效率低；船舶身份只能用证书识别，耗时耗力，可靠性差。
实现船舶信息交互和手机终端APP，需要物联网采集大量数据。而5G以高速率、低时延、大带宽的优点成为目前实现智慧船舶的重要通信手段。5G环境下，可以提供更快的响应速度、更丰富的内容、更智能的应用模式及更直观的用户体验。
2020年12月1日，江苏省政务办和省交通运输厅联合召开“全省交通运输电子证照应用推进会”，部署道路运输经营许可证等5类交通运输电子证照通过江苏“政务服务码”在政务服务和行政执法场景中推广应用 [4]。实体证照的电子化实现了与公安部门身份证、驾驶证、行驶证、市场监管部门营业执照等电子证照的关联共享，实现跨部门实体证照免带。
电子证照解决了过去利用人工办理船舶各项服务的繁琐与不足。参照高速公路收费站车辆安装的ETC，船舶过闸收费同样可以采用先进技术简化手续、节省过闸时间。船员只需要在手机端下载APP，将联合调度与移动数字化相结合，实现船闸智能一体化联合调度。APP不仅是船只通过闸门的通行证，船员经过身份认证后还可以通过查看APP知晓航道有关的信息，这些数据可以帮助船只快速了解船闸的通航船舶数量，闸门排队进程，水位情况等基本信息，以便合理规划航运计划。同时支付增加了微信、支付宝等多种方式，线上支付更加方便快捷。
Figure 9. Physical architecture diagram of ship lock integrated service system
图9. 船闸综合服务系统物理架构图
如图9所示的船闸综合服务系统架构图，当船舶准备过船闸时，会提前与无线通信基站进行信息交互，通过5G、低轨道卫星通信技术将船舶的信息、电子标签等通过船闸远程综合业务服务器进行数据采集，船舶无需停靠，船员只需在手机或其他设备终端处理过闸手续即可快速通过。
4.2. 高清实时监控视频传输
监控系统需要高清实时视频，光纤通信虽然可以满足大带宽的需求，但其存在一些缺点：质地脆，机械强度差；切断和接续需要一定的工具、设备和技术；分路、耦合不灵活；弯曲半径不能过小(>20 cm)；有供电困难问题。5G和低轨卫星通信的融合应用可以避免铺设大量的设设备、线路，同时可以满足大数据、高清实时视频传输的要求。
5G技术需要建设大量基站，而船舶在过湖时，无地面可以建设基站，此时无法通过5G基站进行数据传输，低轨道卫星可以有效解决海洋、湖泊等偏远地区的通信问题。
5G与卫星网络的融合通信如图10所示，融合5G与低轨卫星的具体方案有：1) 在有陆地的岸边，密集铺设5G基站，以便船舶间通信；2) 在海域上空利用低轨卫星与5G基站进行信息交互，将远距离船舶的位置信息、远处的水域状况等及时反馈到船舶接收端，以便船员及时作出应急措施。
低轨卫星通信与5G融合网络支持船员和岸上控制端在低轨5G接入网与地面5G接入网间无缝切换，主要是通过在船舶的移动平台上安装具有低轨星座接入能力的通信终端，即可在移动过程中保持连续、不间断的5G网络接入服务。5G与卫星的融合能更完善通信网络，丰富卫星通信和地面通信的内容。
依靠地面基站的通信方式，会存在两个基站之间位置过远而导致信号无法送达或者信号被遮挡的问题。对于只在船舶上建设5G基站的方式，现有的通信方式和定位系统无法保障船舶行驶的安全性和信息传输的高效性。而低轨道卫星因为离地面近，可以提供更大的信号接收发射角度，更强的信号。
Figure 10. 5G and unified communication of Satellite Network
图10. 5G与卫星网络的融合通信
低地球轨道(LEO)卫星通信系统有助于提供清晰的地球表面图像。它还为最终用户提供了详尽的详细图像和其他因素，例如任务连续性效率，在轨数据等。LEO有效载荷数量的增加为开发卫星部署系统提供了有利的机会。低地球轨道卫星还将实现高精度地图服务。
4.3. 船舶定位导航
确保船舶的安全、平稳行驶，在满足高清实时监控视频传输的前提下，还需要通过船舶的定位导航系统获取水域上所有船舶的位置，航速等信息，以便及时获取水域交通状况，及时调度，保证航行的安全、高效(见图11)。
过去，结合AIS [5] 和GPS [6] 系统实现在网络平台上对船舶定位导航，但这两种技术各有特点，也存在一些不足。
AIS [7] 适合开阔水域船舶航行和海事监管工作。但在内河通航水域，其一些主要优势功能难以发挥，如它的避碰功能、导航功能在狭窄的内河航道和船舶密度较大的水域应用价值不够大。另外，它还有一些不足：一是存在船舶终端安装成本和岸台基站建设成本均较高、系统建设使用操作复杂、船上运行环境恶劣影响正常使用等问题；二是由于AIS对外自动发出的有关本船的船名、船籍港等报文信息均为船上AIS使用人自行录入，存在一定的信用，以及汉化释义问题。
GPS系统可实现海事等管理部门对相关船舶的实时动态跟踪监督，及时发现船舶是否有超越航区违规航行，或一旦发生事故可快速查找到事故发生地点；另外可通过轨迹回放功能了解船舶的运行轨迹，协助有关事故调查取证等；还可以通过GPS平台发布信息。
GPS的不足主要有：对船主的服务不够多，信号覆盖不够好；船舶尤其是小型船舶的物理环境条件一般较差，如温湿度随气候季节变化反差巨大、船上供电不稳等，容易导致GPS终端损坏或工作不正常，因而难以发挥其应有的作用；使用GPS的船舶需要较高的一次性设备安装费用，及一定的月租费来维持正常运行，使用成本较高。
Figure 11. High precision positioning system for ships
图11. 船舶高精度定位系统
北斗导航系统 [8] 采用三种轨道卫星组成的混合星座，较多的高轨道卫星提供了高精度的抗遮挡能力，低轨道卫星因为离地面近，可以提供更大的信号接收发射角度，更强的信号。低轨增强为卫星导航带来的新赋能：1) 低轨卫星轨道低、重量小，卫星造价和发射成本较低；2) 落地信号强度更高，可改善遮挡遮蔽条件下定位效果，提升可用性；3) 低轨卫星运行速度快，加快高精度定位收敛时间，用户体验更优；4) 更高的信息速率，能播发更多的精密改正信息；5) 终端小型化、集成化、低功耗，易于用户使用。增加低轨卫星通信，一方面可以扩充5G地面通信网所无法覆盖的区域，另一方面其承载更高信息速率和带宽使得卫星导航更加精准。
与传统导航地图相比，北斗卫星导航高精度地图 [9] 的图层更多，地图信息量更大、更复杂。高精度地图有更详细的内河航道信息，比如前方船舶形式速度，水域情况等。
在船舶的行驶中，需要利用导航技术 [10] 来运行，即北斗导航系统，包含卫星定位，速度检测、高清地图、航位推算等，而在充分利用这些技术后，可以很好地对船舶的位置、状态等进行信息交互，从而确保航行的安全、质量。同时，利用这些技术也可以很好的缓解水上交通的拥堵现象，及时调度或转换航线。
利用5G及低轨卫星通信技术可以开发一款数字化地图软件，像百度、高德地图，他们使用的GPS，而这款软件则搭载北斗导航系统，并且只针对于航运，涵盖所有船舶行驶的水域，在船舶控制室内下载安装导航APP [11]。船员按需求点击APP提供的各项功能，即可实时掌握航道及附近船舶的所有信息，如船舶位置、航速、闸道交通状况、水位、天气等。
5. 总结
论文针对目前航运业的发展现状，提出基于5G、低轨卫星通信、北斗的内河航运应用研究，5G+、互联网+将助力基于新一代通信技术的平台架构，提供更加便捷、精准的船舶服务，依托通信平台可以更加准确地对监控视频进行处理，省时省力，有效提升监控系统的功能，保证船舶的安全、稳定行驶。该系统已进行多次实验，之后将会在江苏省内河航道试应用该系统。论文的研究工作得到了华设设计集团股份有限公司开放课题《5G及多种通信技术在智能交通领域的融合应用研究》的资助。