证券网络系统的建设是一项涉及多方面因素的系统工程,不应再是网络设备的简单堆叠,而应该进行合理的规划与设计,并由传统的平面结构发展为立体式网络结构。
一、证券网络系统的拥有成本
在以往的证券网络系统升级或建设中,网络设备及技术选择的指导思想通常是:选择恰好满足当前需要的产品,选择网络管理员最熟识的技术,以设备的绝对价格评估系统整体投入。系统的运行维护成本、产品的市场生命周期,不同厂家,不同品牌设备间的互操作性,系统的升级周期以及网络系统所关联的软件系统等因素很容易被忽略,从而导致设备越堆越多,而且是一些连配件也不齐的非主流产品,一旦网络系统出现故障,管理员将陷于一片混乱中,要么协议驱动程序不配套,要么硬件设备不兼容等等。
合理的网络系统投入评价标准是网络系统的拥有成本,所谓拥有产本是指网络系统从设计、实施、运行到再次升级这一生命周期所发生的财政投入,我们可以用以下关系定义:
网络系统拥有成本=前期设备成本+系统维护成本+系统运行成本
· 前期设备成本:构置网络系统的主要设备,如HUB、Switch等;
· 系统维护成本:管理整个网络系统的人工成本;
· 系统运行成本:保证网络系统的设备和逻辑结构以最佳状态投入运行的成本,如厂家维护费、线路租用费、设备所占用的营业空间等等。
二、证券网络系统的复杂度
也许很多人会认为:证券网络系统属于二维扁平系统,是Intranet中比较简单的一种。这仅仅是针对目前应用而言,从证券网络系统的时效性、行业特性分析,其实证券网络系统的复杂度应该更深刻一些。因为我们必须考虑证券网络系统的多样性和网络的变化性。不同的网络操作系统平台(Netware,Windows NT等),不同的操作系统版本(Netware 4.0 Netware 4.11等),不同的驱动程序、不同的协议、基于Client/Server应用的要求,网络系统必须随时适应行情广播系统、柜面交易系统等应用的不断变化;同时,证券网络系统是面向顾客的交易服务系统,其用户数随时呈线型增长。
影响证券网络系统的复杂度,大致有以下几个方面:
· 网络协议
· 不同的供应商
· 网络设备的类型
· 分布式系统平台
· Client/Server应用
· 网管应用
· 网络规模非规则递增
只有正确分析证券网络系统的复杂度,才能在设计与规划证券网络系统时有正确的认识,能够把许多问题排除在设计阶段,而不至网络系统投入运行后才暴露出来。
三、证券网络系统规划设计重点
对于一个典型的证券网络LAN系统,我们可以将其划分成四个环节:网络核心、边缘接入、服务器连接以及分布式网段的内部互连,四个环节的设计都很关键,因为任何一个环节都会影响到网络系统的整体性能。围绕以上各个环节的设计有多种追求目标,在本文所提及的最少网络系统拥有成本、最低网络系统复杂度的前提下,我们认为高带宽、低时延、高容错性能、最大限度充许扩充能力等则是证券网络系统的实质性规划设计目标。
1、高带宽、低时延
现时的许多交换产品都具有较高的端口传输速度,即使是价格很便宜的低端交换设备,同时,每个端口的MAC地址数也不成问题,包括交换产品是采用Cut-through交换机制还是Store-and-forward交换机制都可以是最终用户勿须考虑的因素。交换机厂商之间的竞争逐渐进入另几个范畴:高带宽技术与低带宽技术、阻塞性硬件结构与非阻塞性硬件结构,线速Layers3 Routing与非线速Layer3 Routing、Qos与非Qos等的较量。
· 选择廉价高带宽的千兆以太网网络核心
高带宽技术中的ATM技术肯定不适合证券网络系统,ATM的高拥有成本和复杂度决定它只能是WAN的主干技术。是沿用交换式快速以太网技术,还是一步到位,采用面世不久的千兆以太网确实令众多券商犹豫。
我们认为千兆以太网的快速以太网严格兼容性,10倍于快速以太网带宽,更重要的是具合理的价位,千兆以太网应该是证券网络系统的网络核心首选。此外,千兆以太网并不需要系统设计者,系统管理者拥有额外的知识和经验,也不需要重新更换现有的网络操作系统、协议、及驱动程序,一切都是在无缝中集成。
新建的杭州工商信托网络系统选择了美国Extreme公司的Summit48千兆交换机,Network Computing曾就固定配置式千兆Switch的价格、性能、NNA性能、测试性能、可管理性及灵活性等进行评测,认为Summit48是最具有价值的千兆交换机。
· 选择非阻塞性交换体系结构
阻塞性硬件结构(Blocking Hardware Architectures)经常导致阻塞和带宽不够问题。网络界对于阻塞和非阻塞的定义有点混乱,但真正的区别在于网络系统应用于什么地方。阻塞描述的是网络设备的硬件体系结构,对于承受网络聚合流量的网络核心来说非阻塞非常重要,因为一个设备若不能处理其端口所产生的所有流量负载,将导致数据包丢失,网络系统将会出现延迟现象。
1.2Gbps的背板容量不能支持48个10/100Mbps全双工端口所产生的输入容量,而只能支持6个10/100Mbps端口,所以若下联端口大于6个将是阻塞性结构。
· 优化负荷过载链接
网络不同环节(核心、网段、桌面)之间的链接聚合处很容易出现负荷过载链接现象,所谓负荷过载链接是指网络中出现流量瓶颈的聚合点,即上链端口的实际带宽少于潜在带宽(如图3)。
Uplink 负荷过载点 100Mbps<600Mbps
6×100Mbps=600Mbps
图3 负荷过载链接示意
但几乎网络所有的级连处都有可能出现过载现象,合理的评价模式是用 潜在带宽/负荷过载系数= 实际带宽 来衡量过载程度,过载系数越大,表示负荷过载现象越严重,不恰当的过载系数将引起碰撞、阻塞。表1是Extreme公司建议的过载系数理想值。
桌面(Desktop)Between2:1 and 3:1
网段(Segment) Between1:1 and 2:1
核心(Core) 1:1
服务器(Server) 1:1
表1:过载系数理想值
2、合理的带宽分配和级连设计
在确定千兆以太网为网络核心之后,网段和工作站的带宽分配是决定网络整体性能的另一个重要问题。证券网络系统中可将应用按带宽需求大小排列为:数据转换>行情分析、委托>柜台业务。根据不同的应用,我们在规化系统时应进行合理地带宽分配和级连设计。
· 将网络级连控制在两级以内
网络的级连层越多,网络的拓扑结构就越复杂,这对故障查找、定位都非常不利,同时网络的延迟现象也将更严重,所以级连层越少越好,鉴于大多数交换机的端口密度不足以完成几百个工作站的一次性链接,我们认为可将级连层数可控制在2级。对于时延要求很高的应用可以直接挂接在核心交换机的端口上,而其它桌面应用则通过边缘交换机(或称二级交换机)链接。
· 交换10Mbps和共享100Mbps桌面应用
交换10Mbps和共享100Mbps哪一种方式更好一直是讨论的焦点,其实应该按应用来选择,交换式的优点在于它不再使用CSMA/CD介质存取模式,由于它的每个端口都有专用连接,因此不存在线路争用问题,所以不要载波,冲突的根源不存在;而共享式集线器的优点是适合处理猝发性工作组通信,但是它不能过滤不想要的信息包,也不能给特定的端口分配专用带宽。
考虑设备的投资与性能,我们认为针对行情分析的应用采用共享式100Mbps应用,而委托交易应用则采用交换式10Mbps,逐步将共享10Mbps升级为交换式10Mbps和共享式100Mbps。
3、利用网状星型网络拓扑改善冗错能力
传统的证券网络系统采用的是单链路星型网络拓扑结构(如图4所示)。这种结构的唯一优点是投资省,但是,这是一种无任何容错能力的结构。随着网络技术的发展,网络系统的容错手段越来越多,图5所示的是杭州工商信托证券网络所采用的网状星型拓扑结构。采用至少两台以上中心交换设备,互为备份,中心交换机之间可采用Trcnk Group端口聚合链接(或Cisco Fast Ether Channel)。最多可将4条100/1000Mbps链路聚合在一起,实现链路(端口)失败转移,即一条链路出现故障时,其它链路将接管工作;同时;多链路之间还能实现流量均衡(Load sharing),并将原级连带宽由原来的100/100Mbps(全双工为200/2000Mbps)扩展为400/4GMbps(全双工为800/GMbps)。
证券网络系统的建设是一项涉及多方面因素的系统工程,不应再是网络设备的简单堆叠,而应该进行合理的规划与设计,并由传统的平面结构发展为立体式网络结构。
一、证券网络系统的拥有成本
在以往的证券网络系统升级或建设中,网络设备及技术选择的指导思想通常是:选择恰好满足当前需要的产品,选择网络管理员最熟识的技术,以设备的绝对价格评估系统整体投入。系统的运行维护成本、产品的市场生命周期,不同厂家,不同品牌设备间的互操作性,系统的升级周期以及网络系统所关联的软件系统等因素很容易被忽略,从而导致设备越堆越多,而且是一些连配件也不齐的非主流产品,一旦网络系统出现故障,管理员将陷于一片混乱中,要么协议驱动程序不配套,要么硬件设备不兼容等等。
合理的网络系统投入评价标准是网络系统的拥有成本,所谓拥有产本是指网络系统从设计、实施、运行到再次升级这一生命周期所发生的财政投入,我们可以用以下关系定义:
网络系统拥有成本=前期设备成本+系统维护成本+系统运行成本
· 前期设备成本:构置网络系统的主要设备,如HUB、Switch等;
· 系统维护成本:管理整个网络系统的人工成本;
· 系统运行成本:保证网络系统的设备和逻辑结构以最佳状态投入运行的成本,如厂家维护费、线路租用费、设备所占用的营业空间等等。
二、证券网络系统的复杂度
也许很多人会认为:证券网络系统属于二维扁平系统,是Intranet中比较简单的一种。这仅仅是针对目前应用而言,从证券网络系统的时效性、行业特性分析,其实证券网络系统的复杂度应该更深刻一些。因为我们必须考虑证券网络系统的多样性和网络的变化性。不同的网络操作系统平台(Netware,Windows NT等),不同的操作系统版本(Netware 4.0 Netware 4.11等),不同的驱动程序、不同的协议、基于Client/Server应用的要求,网络系统必须随时适应行情广播系统、柜面交易系统等应用的不断变化;同时,证券网络系统是面向顾客的交易服务系统,其用户数随时呈线型增长。
影响证券网络系统的复杂度,大致有以下几个方面:
· 网络协议
· 不同的供应商
· 网络设备的类型
· 分布式系统平台
· Client/Server应用
· 网管应用
· 网络规模非规则递增
只有正确分析证券网络系统的复杂度,才能在设计与规划证券网络系统时有正确的认识,能够把许多问题排除在设计阶段,而不至网络系统投入运行后才暴露出来。
三、证券网络系统规划设计重点
对于一个典型的证券网络LAN系统,我们可以将其划分成四个环节:网络核心、边缘接入、服务器连接以及分布式网段的内部互连,四个环节的设计都很关键,因为任何一个环节都会影响到网络系统的整体性能。围绕以上各个环节的设计有多种追求目标,在本文所提及的最少网络系统拥有成本、最低网络系统复杂度的前提下,我们认为高带宽、低时延、高容错性能、最大限度充许扩充能力等则是证券网络系统的实质性规划设计目标。
1、高带宽、低时延
现时的许多交换产品都具有较高的端口传输速度,即使是价格很便宜的低端交换设备,同时,每个端口的MAC地址数也不成问题,包括交换产品是采用Cut-through交换机制还是Store-and-forward交换机制都可以是最终用户勿须考虑的因素。交换机厂商之间的竞争逐渐进入另几个范畴:高带宽技术与低带宽技术、阻塞性硬件结构与非阻塞性硬件结构,线速Layers3 Routing与非线速Layer3 Routing、Qos与非Qos等的较量。
· 选择廉价高带宽的千兆以太网网络核心
高带宽技术中的ATM技术肯定不适合证券网络系统,ATM的高拥有成本和复杂度决定它只能是WAN的主干技术。是沿用交换式快速以太网技术,还是一步到位,采用面世不久的千兆以太网确实令众多券商犹豫。
我们认为千兆以太网的快速以太网严格兼容性,10倍于快速以太网带宽,更重要的是具合理的价位,千兆以太网应该是证券网络系统的网络核心首选。此外,千兆以太网并不需要系统设计者,系统管理者拥有额外的知识和经验,也不需要重新更换现有的网络操作系统、协议、及驱动程序,一切都是在无缝中集成。
新建的杭州工商信托网络系统选择了美国Extreme公司的Summit48千兆交换机,Network Computing曾就固定配置式千兆Switch的价格、性能、NNA性能、测试性能、可管理性及灵活性等进行评测,认为Summit48是最具有价值的千兆交换机。
· 选择非阻塞性交换体系结构
阻塞性硬件结构(Blocking Hardware Architectures)经常导致阻塞和带宽不够问题。网络界对于阻塞和非阻塞的定义有点混乱,但真正的区别在于网络系统应用于什么地方。阻塞描述的是网络设备的硬件体系结构,对于承受网络聚合流量的网络核心来说非阻塞非常重要,因为一个设备若不能处理其端口所产生的所有流量负载,将导致数据包丢失,网络系统将会出现延迟现象。
1.2Gbps的背板容量不能支持48个10/100Mbps全双工端口所产生的输入容量,而只能支持6个10/100Mbps端口,所以若下联端口大于6个将是阻塞性结构。
· 优化负荷过载链接
网络不同环节(核心、网段、桌面)之间的链接聚合处很容易出现负荷过载链接现象,所谓负荷过载链接是指网络中出现流量瓶颈的聚合点,即上链端口的实际带宽少于潜在带宽(如图3)。
Uplink 负荷过载点 100Mbps<600Mbps
6×100Mbps=600Mbps
图3 负荷过载链接示意
但几乎网络所有的级连处都有可能出现过载现象,合理的评价模式是用 潜在带宽/负荷过载系数= 实际带宽 来衡量过载程度,过载系数越大,表示负荷过载现象越严重,不恰当的过载系数将引起碰撞、阻塞。表1是Extreme公司建议的过载系数理想值。
桌面(Desktop)Between2:1 and 3:1
网段(Segment) Between1:1 and 2:1
核心(Core) 1:1
服务器(Server) 1:1
表1:过载系数理想值
2、合理的带宽分配和级连设计
在确定千兆以太网为网络核心之后,网段和工作站的带宽分配是决定网络整体性能的另一个重要问题。证券网络系统中可将应用按带宽需求大小排列为:数据转换>行情分析、委托>柜台业务。根据不同的应用,我们在规化系统时应进行合理地带宽分配和级连设计。
· 将网络级连控制在两级以内
网络的级连层越多,网络的拓扑结构就越复杂,这对故障查找、定位都非常不利,同时网络的延迟现象也将更严重,所以级连层越少越好,鉴于大多数交换机的端口密度不足以完成几百个工作站的一次性链接,我们认为可将级连层数可控制在2级。对于时延要求很高的应用可以直接挂接在核心交换机的端口上,而其它桌面应用则通过边缘交换机(或称二级交换机)链接。
· 交换10Mbps和共享100Mbps桌面应用
交换10Mbps和共享100Mbps哪一种方式更好一直是讨论的焦点,其实应该按应用来选择,交换式的优点在于它不再使用CSMA/CD介质存取模式,由于它的每个端口都有专用连接,因此不存在线路争用问题,所以不要载波,冲突的根源不存在;而共享式集线器的优点是适合处理猝发性工作组通信,但是它不能过滤不想要的信息包,也不能给特定的端口分配专用带宽。
考虑设备的投资与性能,我们认为针对行情分析的应用采用共享式100Mbps应用,而委托交易应用则采用交换式10Mbps,逐步将共享10Mbps升级为交换式10Mbps和共享式100Mbps。
3、利用网状星型网络拓扑改善冗错能力
传统的证券网络系统采用的是单链路星型网络拓扑结构(如图4所示)。这种结构的唯一优点是投资省,但是,这是一种无任何容错能力的结构。随着网络技术的发展,网络系统的容错手段越来越多,图5所示的是杭州工商信托证券网络所采用的网状星型拓扑结构。采用至少两台以上中心交换设备,互为备份,中心交换机之间可采用Trcnk Group端口聚合链接(或Cisco Fast Ether Channel)。最多可将4条100/1000Mbps链路聚合在一起,实现链路(端口)失败转移,即一条链路出现故障时,其它链路将接管工作;同时;多链路之间还能实现流量均衡(Load sharing),并将原级连带宽由原来的100/100Mbps(全双工为200/2000Mbps)扩展为400/4GMbps(全双工为800/GMbps)。
图4 星形拓扑结构示意图(中心为Concentrator,四周为HUB)
图5 杭州工商信托证券网络
(中心为Summit48,四周为Catalyst 1924)
中心交换机与边缘交换设备则用两条或更多的链路实现级连(多生成树Spanning tree),只要其中一个链路正常,即能保证中心Switch与边缘Switch的正常连接。
4、改善服务器网卡吞吐率与容错性能
证券网络系统的另一个瓶颈点在于服务器网卡与网络核心的连接链路,而且几百元钱网卡出错会导致几十万投资的网络系统瘫痪现象在证券交易领域已不鲜见。所以,提高服务器网卡的吞吐率,降低服务器CPU占用率,同时尽可能改善服务器网卡的容错能力是高性能证券网络系统必需考虑的重要环节之一。
Intel Pro 100+ Server Adapter、Intel Pro 1000 Server Gigabit Adapter,3com Fast Ether Link Server Nic,Alteon AceNic Gigabit Adapter以及Compaq NC1322 Fast Ethernet Nic都是新一代优化网络性能并支持多网卡冗错(Adapter Fauit Tolerance(AFT))技术的服务器网卡。Intel Pro 100+ Server Adapter还获得了PCMAG的最佳编辑奖。
· 失败转移
同一台服务器内配置两块或更多的网卡,构成网卡组,并同时接入网络核心,只要其中一块网卡保证正常工作,网络系统就不致中断,而且这种转移过程即刻完成,对于网络用户是透明的,不会丢失任何数据。
· Load Balancing非对称端口聚合
多网卡与核心交换机的多个端口(最多4个)间的多链路将连接带宽聚合成最大400Mbps的吞吐量,并指定其中一条链路是全双工链路,而其余为半双工链路,这一模式适用于单网段的网络系统。
· 对称端口聚合
多Intel Pro 100+服务器网卡与支持Fast Ether Channel的交换机的多端口互连,最多可形成全双工800Mbps端口聚合带宽,这一模式适应于多网段网络系统。
· 可管理性
网卡是否支持热插拔,网卡驱动程序是否支持SNMP、DMI 2.0,是否支持VLAN,是否具有服务器动态加载固化亦是很重要的因素。
图6所示的是Intel Pro 100+服务器网卡配合Extreme Summit48 Switch的应用图解。
Server(Compaq PL7000)
 |
图6 网卡冗错与装载平衡应用图解 Lagency HUB
四、证券网络系统的发展
1、QoS(Quality of Service)应用于证券网络中
QoS一直以来是ATM技术的最热点,但现在QoS已在千兆以太网中得以实现。Extreme公司率先推出了基于策略的QoS(Policy-Based QoS)(如图7所示)。
工作组通信量
图7 Extreme的基于策略QoS说明
网络管理员可以通过给不同的应用,不同的子网,和最终工作组赋予优先级及预分配特定的带宽来控制和管理带宽,减少过载系数和拥塞。
我们不妨给证券网络系统中的某些应用,如行情转换、电话委托等一些关键应用赋以较高的优先权,并保留带宽,使得网络系统在带宽紧张时优先保证关键应用,防止流量对性能的影响。当然我们也可按用户的类别如管理员、贵宾、普通用户进行QoS定义,保证重要用户拥有稳定的网络带宽资源。
2、考虑设置虚拟网VLANs,改善证券网络系统的安全性
应当看到由于现有的大部分证券网络系统和证券应用软件采用的数据与应用集中式管理,工作站直通式非透明访问模式所导致的许多不安全因素:非法修改核心数据库、非法交易无法控制、非法应用感染病毒等等。
我们提出了以下证券网络系统模型,供同行参考(图8)
(侧面为网络管理、软件部门、财务部门)
图8 设置VLAN后的证券网络系统
· 数据服务器和应用服务器分离
将行情服务器分解为行情处理服务器和交易所交易服务器,将资金服务器分解为资金数据服务器和客户交易(委托、查询、回报等)服务器,其目的是将原来按逻辑(服务器、核心、网段、桌面)的扁平结构改变为按行为的层次式结构。
· 按应用域划分VLANs
虚拟网络VLANs(Virtual Local Area Networks)允许我们按系统管理应用(网络管理、软件管理)、客户应用(行情分析、委托交易、查询等)、柜面应用(开户、存取款),外部通讯(银行互连等)以及办公应用(财务、其它部门)所关联的用户划分成不同的可管理广播域,并按逻辑用户组进行安全管理。
行情广播、客户交易及管理工作站将支持所有VLANs 和IP子网,并采用带tagging功能的服务器网卡,交易发送和资金数据服务器则与客户应用、柜面应用、外部通讯等用户组分属不同的VLANs和IP子网,以确保重要资源的安全性。
结语
本文结合杭州工商信托证券网络系统的规划与设计经验提出了证券网络系统规划与设计的一些观点。网络技术在不断发展,网络产品价格在逐渐回落,这一切都为高性能证券网络系统建设提供了充分的保障。