1. 引言
中国南方电网超高压输电公司综合数据网络(以下简称超高压综合数据网)是依托裸光纤、同步数字系列(SDH)提供的传输链路而建立起来的IP网络,物理拓扑上依托于传输网的155 M及GE通道,逻辑拓扑采用三层结构,分为核心层、汇聚层、接入层。其中核心层和汇聚层网络结构比较简单,物理上合为一层,统称为骨干层。网络骨干层拓扑如图1所示。
超高压公司综合数据网建成投运以来,主要承载各管理信息类业务,在网络管理运维人员的精心维护下,网络基本运行正常。随着互联网统一出口,容灾备份,各类越来越多的新型信息化业务在本网上承载[2] ,以及用户数量的不断增多[3] ,网络的安全性[4] [5] 、可靠性[6] 亟待提升,现有的网络结构[7] 也不再适应多样化信息业务的接入和承载[8] ,网络的路由效率下降,需要从全网层面进行优化改造[9] 。
2. 网络评估
通过中国信息安全评测中心的现场测试,目前超高压公司综合数据网的主要问题表现如下:
1) 物理拓扑的健壮性:目前骨干节点路由设备为单机配置,存在单点故障的可能性;
2) 网络接入的安全性:目前超高压各局局域网是直接接入骨干网,没有任何安全防护设备,因此需要通过综合数据网区域及网络层级划分,建设各局局域网统一的出口,便于各局今后增加安全设备,增

Figure 1. Ultra-high voltage integrated data network backbone layer topology
图1. 超高压综合数据网骨干层拓扑
强网络安全性能;
3) 网络结构的合理性:网络区域划分不够清晰,网络中各接入环网并未根据地理位置或超高压分局的管理关系进行清晰的区域划分,造成属于A分局管辖范围内的网络接入层站点的故障可能扩展到其它分局的网络中,造成运维故障处理困难,因此有必要进行清晰的网络区域层级划分;
4) 业务接入的合理性:超高压各局局域网PE设备上存在大量的二层业务接入,这样不但浪费骨干节点的资源,而且还带来一定的安全隐患,因此需对各局局域网链路进行结构层次进行优化。
3. 网络优化
3.1. 总体优化思路
根据上述总结的问题,对超高压综合数据网的优化改造应该分为三个层面来进行:
物理设备:对骨干层节点及重要的汇聚层节点设备,进行1+1冗余配置,满足“N-1”风险的要求。
拓扑结构:优化现有网络结构,按照“接入层、汇聚层、核心层”的三层结构重新组织网络,调整业务接入方式,使网络结构清晰,运维管理关系明确。
网络路由:优化网络路由,提高网络收敛性能,实现全网MPLS VPN以满足业务隔离的需要。部署相应的Qos策略。
3.2. 网络优化模型方案
超高压公司现有骨干综合数据网络模型如图2所示。
针对超高压输电公司综合数据网络目前存在的问题,对网络改造设计遵循以下原则:
1) 分拆网络接入层网络,按照各分局管辖区域划分网络分区,以便理顺运维管理关系。
2) 增加各分局局域网核心设备,将局域网设备和广域网设备分离,以便网络分区及在局域网和广域网分界面处增设安全设备。
3) 调整传输网络链路,以控制并减少跨越较远距离的传输网链路,节约传输资源。
4) 优化网络链路结构,在满足网络覆盖要求的情况下,增加网络结构安全性。
5) 优化网络路由设置,提高网络收敛性能和路由寻址能力,提高网络路由效率。
在上述优化改造思路下的超高压公司骨干综合数据网优化模型示意图见图3。

Figure 2. Ultra-high voltage company integrated data network backbone status model
图2. 超高压公司骨干综合数据网络现状模型

Figure 3. Illustration of ultra-high voltage company integrated data network backbone optimization model
图3. 超高压公司骨干综合数据网络优化模型示意图
3.3. 流量估算
网络带宽与业务类型、业务流量、用户量、用户类型、信息流向及网络结构有较大关系,不同网络由于用户数量、业务种类不同,因此其业务流量也不相同。此外,实时性要求不同的业务,其流量统计方法也不相同。对于IP业务中的实时性业务,其流量统计一般按峰值计算;对于IP业务中的非实时性业务,其流量统计按照均值计算,并根据传输要求所有数据将在规定的时间内传完估算。
超高压公司网络节点主要是公司本部及各超高压局、超高压各变电站等。根据各超高压单位的在职员工人数估算信息点数量,然后统计各业务的带宽需求及并发率,流量估计公式即如下所示:

其中S是最后计算出来的流量需求,M是信息点的数量,N是每个业务的带宽需求,p是并发率。
实际工程上在配置网络带宽时,会在理论计算值S的基础上增加一定的余量,作为网络轻载带宽。
根据目前业务系统带宽需求计算,每个局需要带宽为105 M,9个超高压局共需要945 M。在每个局有2个方向链路的情况下,骨干层带宽需求为472 M,1个STM-4带宽能够满足骨干层网络要求。
对于变电站,每个站按25信息点计算,变电站的带宽需求为10 M。
汇聚层按照1个局,5个变电站计算,链路带宽需求为155 M,1个STM-1带宽能够满足汇聚层网络要求。
3.4. 拓扑优化方案
根据南方电网企业标准[10] ,综合数据网的结构应该为三层结构,即核心层、汇聚层、接入层。接入层完成业务的接入,因此接入层设备应该具有高密度的端口和较低廉的成本;汇聚层完成业务的汇聚,因此汇聚层设备应该拥有更高的交换速率,并且满足物理上的“1+1”冗余;核心层实现业务的高速转发,因此核心层设备除了需要物理上的冗余备份,还需要设备本身拥有更高的可靠性,和更大的吞吐量。
拓扑优化有三种可选方案,各方案如下。
方案1汇聚层路由器采用主备双机。汇聚点所在的超高压分局管理的各接入层节点,双链路上联到这两台汇聚路由器。
方案2汇聚层路由器采用单台高端路由器,可划分为若干台虚拟路由器,以接入若干个超高压分局所管理的站点。接入层节点双链路上联至两个汇聚层节点的不同虚拟路由器。
方案3汇聚层节点根据接入的超高压分局数量配置相应数量的路由器设备,接入层节点双链路上联至两个汇聚层节点。
三种方案各方面的比较如下表1所示。
从综合数据网组网的网络结构、可靠性、运维管理、网络带宽、综合造价等方面综合比较,建议采用方案1。网络优化改造基于IP技术,采用高速路由器构建MPLS + VPN网络。物理拓扑上依托南方电网两个传输平面,逻辑拓扑采用三层结构,分为核心层、汇聚层、接入层。核心层、汇聚层路由器采用主备双机,由汇聚点所在的超高压分局管理的各接入层节点双链路上联到这两台汇聚路由器,网络逻辑结构如图4所示。
在传输链路资源安排上,尽可能的利用原有传输通道,同时充分利用现有资源,提高网络的可靠性。
从前述,作为骨干层链路采用STM-4可以满足应用需求,作为汇聚层链路采用STM-1可以满足应用需求。两个独立的传输平面同时提供传输链路,以增强可靠性;汇聚层以A平面作为主链路,B平面作为备份链路;接入层以B平面作为主链路,A平面作为备份链路。
3.5. 路由优化方案
作为一个大型电力数据网的内部路由协议可供选择的实际上有:静态路由、RIP、EIGRP、OSPF和IS-IS。而具体到在超高压输电公司广域数据网设计中:
1) 由于EIGRP是Cisco专有协议,而不是标准、开放协议;考虑到系统的开放性与互连性,所以不建议选择EIGRP;
2) RIP是较老的路由协议,加上它收敛慢,受hop跳数限制,所以也不建议选择;
3) IS-IS路由协议多用于ISP,企业用户不熟悉,不建议选择;
4) 从MPLS草案及现实运行来看,如果要运行MPLS网络的话,OSPF和IS-IS经常被选用做内部IGP,但是根据超高压输电公司综合数据网的规模和层次化结构,建议选择OSPF+MPBGP作为主要的路

Table 1. Topology optimization scheme comparison
表1. 拓扑优化方案比较

Figure 4. Illustration of ultra-high voltage integrated data network topology optimization
图4. 超高压综合数据网络拓扑优化示意图
由协议,其中OSPF路由协议作为骨干数据网连接路由协议,MPBGP路由协议用于MPLS VPN的实现;
5) 静态路由协议的优点是:配置简单,效率高,但不灵活;我们可以在局部情况下,如:MPLS PE和CE的连接中部分选择静态路由协议。
因此,建议采用OSPF + MBGP作为主要的路由协议,其中OSPF作为域内路由协议,MBGP用于实现MPLS VPN。
3.5.1. BGP
采用BGP路由协议作为EGP路由协议,为减少BGP全互联数量,提高网络收敛性能,采用RR技术实现BGP路由反射器,同时由于网络中实际运行MP-BGP的路由器设备数量不多,不建议采用分级的RR反射器技术。
以超高压公司综合数据网核心路由器设备作为网络一级RR路由反射器,其它运行BGP路由协议的各核心站点均与一级RR路由反射器进行IBGP全网互联,并同时作为各自覆盖区域内汇聚层和接入层站点的MP-BGP 的RR路由反射器。
RR路由反射器设置如图5。
针对BGP协议均采用路由聚合技术,针对不同网络区域和业务区域进行路由汇总,以减少全网路由条目,加快网络收敛速度。
针对网络不同区域,利用BGP的LocalPerf或者community等属性进行路由赋值,以方便进行路由

Figure 5. Integrated data network BGP RR optimization way
图5. 综合数据网BGP RR优化方式图
主备的选路控制。
3.5.2. IGP
综合考虑技术运用成熟度,使用方便度以及运维人员的熟悉程度,建议采用OSPF路由协议作为IGP路由协议。
各核心汇聚层站点作为OSPF Area0区域设备,各接入层节点设备分别按照新的汇聚关系接入各汇聚层节点,并分别分配OSPF区域,在各OSPF区域的边缘ASBR上对本区域内网络路由进行区域路由汇总,以减少全网路由条目。
同时可利用ISPF(SPF快速算法)、BFD(双向快速链路检测)等技术提高网络IGP的收敛性能,提高网络IGP路由的可靠性,OSPF路由区域划分如图6所示。
3.5.3. 路由策略
超高压输电公司综合数据网是为各业务应用系统服务的,数据网承载的业务对网络可靠性要求高,因此,网络的可用率、实时业务的传输时延(业务应有不同的优先级)、网络的收敛时间等关键性能必须予以保证。
本网络中传输的业务将按安全等级进行分类,为了实现业务的有效隔离,需在全网实现MPLS VPN。
根据超高压输电公司综合数据网的需求,我们按照不同的业务应用划分不同的VPN,因此,在安全等级上已经将各个应用进行了有效的隔离。在MPLS VPN的网络结构中,IP包的转发是依据LSP(Label

Figure 6. Integrated data network OSPF region partition
图6. 综合数据网OSPF区域划分图
Switch Path)来决定的,而LSP又是由路由协议所决定的。
由于采用OSPF路由协议作为网内协议,因此,优化的路由策略是通过OSPF协议计算出最短的LSP作为IP包的转发路径,当该LSP发生故障时,由OSPF自动计算出次之LSP,以确保数据在秒级范围内完成数据转发。
在OSPF的边界路由器上总骨干区和各子区的链路路由,减少区间的链路地址传播。
各设备的标识地址(LOOPBACK0)地址是MPLS所必须的地址,不能被总结。
3.6. QOS优化方案
由于超高压公司综合数据网跨多个地区,网络规模庞大,随着将来各管理信息类业务实时性要0S扩展技术功能;
Ø 实现QoS技术延伸的功能。实现步骤如下:
1) 在IP分组还未进入MPLS交换时,出方向流量分组打上区分服务标志(Tos);
2) 在IP分组进入MPLS交换时,根据Tos标志分别映射为EXP的相应数值;
3) 为不同的类型定义策略图(Policy map)。
4. 结束语
随着用户数量的快速增加和承载业务种类的多样化,网络的规模和复杂度也日益增长。旧的网络已无法满足用户在安全性、可靠性、路由效率、多业务接入等方面的需求,同时旧的网络结构也会造成运维界面不清晰,使得运维工作复杂化,降低维护排障的效率等。
文中提出的调整网络结构、增加关键节点冗余配置,优化业务接入、优化路由等措施,能够有效的提升网络的健壮性,增强网络的业务接入能力,保证业务的服务质量。以超高压综合数据网为原型提出的网络优化模型方案使得“核心–汇聚–接入”的三层网络结构更清晰;广域网和局域网区域分离,安全性更高;按运维区域分拆接入网络,明确了运维界面。其技术原理清晰易懂,且在实际工程中经过实践检验,效果良好,在电力综合数据网建设中具有一定的典型意义和较高的参考价值。