1. 引言
随着社会的发展，各地人防、公安等部门对多媒体指挥信息系统建设的需求不断增加。伴随着音视频处理技术的进步，音视频指挥信息系统也逐渐向数字化、高清化、网络化、一体化的方向发展。不同行业、不同用户对音视频指挥信息系统的接口、功能的需求各不相同，若针对不同需求分别定制，将会耗费巨大的人力和周期成本；其次目前的音视频指挥信息系统，音频、视频和集中控制功能是分开的，设备控制需在不同的控制终端切换，效率低下。特别是随着目前音视频处理设备朝着IP化的方向发展 [1] ，如何发挥IP化的优势，对音视频指挥信息系统进行统一的整合，对多媒体数据进行融合处理的相关设备还未见报道。
因此，针对上述问题，亟待一种可根据不同场合，快速进行不同功能模块组合的设备，并通过统一的软件进行多媒体调度。全IP多媒体融合处理系统基于IP网络交换的方式，实现多媒体信号内部处理和传输。系统内部通过IP方式将压缩后的视频、音频和控制信息 [2] 传输到相应的解码单元或进行远端传输，相对于模拟和数字多媒体处理系统具有更大的灵活性。
2. 全IP多媒体融合处理系统设计方案
全IP多媒体融合处理系统主要完成多种音视频信号接入与处理、视频会议、输出显示控制等功能。通过不同的视频业务板完成数字、模拟及网络视频信息的采集、处理和输出，通过音频业务板完成音频信号的采集、处理和输出，通过存储业务板完成音视频复合存储，通过集中控制业务板完成受控设备的控制，通过总线背板完成个业务板间的数据交互，通过主控板完成各多媒体数据的调度处理。
本文设计的系统主要由可扩展式多媒体综合处理主机和多媒体信号综合处理软件平台组成。可扩展式多媒体综合处理主机主要由视频子系统、音频子系统、网络子系统、集中控制子系统、主控子系统和机箱供电、结构和散热子系统组成。其中视频子系统主要包括高清、标清编码业务板，存储及解码业务板组成，主要完成视频信号的编码压缩，网络传输和解码输出以及存储功能，音频子系统主要由音频业务板组成，主要完成模拟音频信号的采集以及AD采样和PCM音频数据的DA变换及输出 [3] ，网络子系统包括POE业务板和路由器业务板以及总线背板中的交换机部分组成，主要完成外部网络数据的接入和交互以及本地网络数据的交换，集中控制子系统主要由集中控制业务板组成，主要实现对受控设备的控制，主控子系统主要有主控板组成，主要完成视频数据的调度，音频数据的混音，矩阵切换控制，设备控制，并通过对多媒体信号综合处理软件平台和对多媒体数据的二次应用开发完成人机交互；机箱供电、结构和散热子系统主要实现机箱内部供电及散热并为其他子系统提供结构支撑。
系统架构见图1所示。
多媒体信号综合处理软件平台采用CS架构，主要用来实现九大功能：视频矩阵，主要完成视频预览，输出控制，多画面分割和字符叠加；音频矩阵主要完成音频信号的混音，矩阵输出控制，音量大小
调节控制；电子地图，与定位模块配合使用，主要完成定位标绘，地图资源标绘以及地图指挥；录像管理，主要完成多路视频的存储控制，录像查询、回放和本地下载；软视频会议，实现与硬视频会议终端对接，将本地视频作为会议源传输给视频会议终端，并解码视频会议终端音视频数据，完成会议控制；状态监控，主要完成各业务板的上电和关电控制，并通过集中控制业务板，实现对受控设备的状态读取和控制功能；时间信息显示，用于各类时间的显示及自定义时间的显示控制；云台控制，主要实现带云台摄像头的云台控制；系统配置，主要完成音视频输入设备的参数配置，以及配置信息的一键备份和还原。系统软件拓扑图见图2所示，软件分为六层分别是：应用层为面向用户设计，主要功能为构建用户界面和接收用户输入，其中包括了视频预览、地图指挥、录像管理、视频会议等业务模块。服务层实现对应用层的服务支撑，包括流媒体服务、音频服务、软视频会议服务和设备管理服务。通信层为业务层提供数据链路，主要包括网络通信、串口通信等。数据层为业务层提供具体的数据，主要包括音频数据、视频数据和控制数据等结构化和非结构化数据。接入层由各业务板组成，主要为外部设备接入提供接口。设备层是需要接入的各类多媒体设备，如摄像头、话筒以及各类传感器等。
3. 系统关键技术
3.1. 多模态总线背板设计技术
本文通过设计数据交换模块和MCU单元的方式实现了背板网络、RS232、RS485、板卡上电控制及
USB信号的传输。数据交换模块实现板卡间网络数据的交互，485总线用于传输符合485协议的串口数据，MCU通过串口扩展芯片扩展出多个232串口，USB信号和音频信号采用直连的方式实现数据交互，MCU还通过IO口控制各业务板的上电和断电。
3.2. 音频信号数字混音处理技术
本文的音频信号处理包括两个部分，分别为音频业务板实现对音频信号采集与输出，以及主控板音频信号矩阵控制及数字混音算法。音频业务板通过音频AD/DA芯片外加单片机的方式实现 [4] ，单片机主要实现AD/DA芯片I2S信号与USB信号的转换，音频业务板还通过多路USB hub模块 [5] 实现与主控板的互连。主控板音频混音及矩阵控制软件主要负责接收音频业务板通过USB接口传输上来的音频，根据改进的音频混音算法实现对任意组合的音频进行混音，实现矩阵式的混音功能。
3.3. 基于SIP通信协议的多媒体会议软件
本项目采用软件的方式实现了基于SIP协议的多媒体会议功能 [6] ，通过实现SIP通信协议完成与硬视频会议的信令对接，并通过对音视频压缩码流的分析实行了RTSP码流与硬视频会议终端码流的互联互通。
3.4. 系统实现
通过对全IP多媒体融合处理系统软硬件架构和关键技术的分析，最终完成整个系统的实现，系统主要包括可扩展式多媒体综合处理主机和多媒体信号综合处理软件平台两大模块组成，系统示意见图3所示。
多模态总线背板的数据交互模块采用工业级的交换机芯片外加相关外围电路实现，MCU单元采用STM32单片机作为主控芯片，音频采集与播放采用Nuvoton公司的NAU8822芯片实现，音频数据转换芯片则采用Nuvoton公司的NUC123芯片，USB-HUB部分采用汤铭电子的FE2.1芯片实现。基于SIP的多媒体会议软件则采用RTSP和SIP协议的解包和再封包 [7] ，实现RTP视频和音频数据在两种协议间的传输，通过实现SIP协议通信过程实现了与硬视频会议终端或多媒体会议软件的信令对接。
Figure 4. Multimedia signal processing software platform
图4. 多媒体信号综合处理软件平台
Figure 5. Application of emergency command vehicle
图5. 应急指挥车应用展示
多媒体信号综合处理软件平台是基于CS架构的。多媒体信号综合处理软件运行于可扩展式多媒体综合处理主机的主控板上，主要实现本地视频矩阵、音频矩阵、地图指挥、视频会议、录像查询、系统配置等功能，软件界面见图4所示。
4. 结束语
本文基于多模态总线背板设计技术、音频信号数字混音处理技术和基于SIP通信协议的多媒体会议软件技术设计了一种基于全IP化的多媒体融合处理系统，基于CS架构设计了多媒体信号综合处理软件平台，通过一台设备实现了音频矩阵、视频矩阵、视频会议、录像存储、设备控制地图指挥的功能。系统经测试，通过选配业务板的方式可实现外部设备快速接入，音视频调度及视频会议对接等功能。系统具有选配模块化，处理网络化和应用可扩展的特点，为相关部门在人防、公安及各类多媒体指挥信息系统应用领域提供了更加灵活的解决方案。目前本系统已在应急指挥车 [8] 和指挥所 [9] 得到了应用，见图5和图6。