基于DB2 9的快威通用数据交换平台

1、背景

随着中国经济改革的深入，一个有能力和效率的政府对于经济、社会的可持续发展起着至关重要的作用。政府不仅仅是社会、经济、文化生活的管理者和协调员，为社会服务的职能正变得日益明显和重要起来，这就需要政府以信息化手段加强各部门间的协作配合，以提升服务质量、提高服务能力、加强服务管理，创建服务型政府。

目前各级政府部门的信息系统还不能充分满足社会不断发展的需要，问题主要表现以下两个方面：

一是资源共享不够。信息资源缺少跨部门共享的渠道，没有建立跨部门信息交换的机制。大量的基础数据源头多样，重复产生，无法相互校对和核验，基础数据的唯一性、准确性无法保证;信息资源的综合利用和深度开发很难开展;随着部门信息系统的陆续建立，解决问题的难度和代价也将随之提高。另外，由于信息不共享造成了一定的政府效能损失。

二是协同管理不够。随着经济体制改革特别是企事业单位改革的不断深入，我国的各项制度法规已经发生巨大的变革，政府的社会管理和公共服务事务相当繁重。传统的以“单位人”为主体的管理服务体系正在演变为以“社会人”为主体的管理服务体系。

这都需要政府以信息化手段加强各部门间的协作配合，通过信息交换平台项目建设，使信息化发展水平的有大的提升和发展，促进各级政府部门职能从管理型向服务型迈进。

信息交换平台在满足交换共享等基本需求的基础上，将安全机制、数据存储层与应用层的有效隔离功能等有机地结合在一起，实现各应用系统与数据共享交换平台相连，进而达到数据交换和共享的目的，为各业务系统的有效协同提供了支撑，同时又能保证各应用系统的相互独立性和低耦合性，从整体上提高了系统运作效率和安全性。

2、关键技术----数据交换

作为 IBM DB2 在政府行业的主要合作伙伴，快威科技公司开发了面向信息交换应用的解决方案---快威通用数据交换平台。

数据交换的本质是实现政府各个业务部门管理服务系统之间的数据关联。根据关联紧密程度，业务系统之间的关联可以分为紧耦合和松耦合两种方式。在紧耦合方式下，各个部门管理服务系统高度关联，优点是业务协作紧凑，业务流程可以集成，一体化程度高;缺点是相互之间的依赖度太大，相互牵制太大。在松耦合方式下，各个部门管理服务系统关联度低，优点是每个系统自由度高，可以作为独立系统各自开发运行;缺点是很难进行业务流程层面的集成。

各级政府各部门之间，相互分工明确，责权利清晰，各部门的业务管理服务系统要求能够独立开发运行，部门之间的数据交换拟采用松耦合方式。规划确定的交换原则为“先交易、后交换”，即每个参与交换的部门都是在业务处理完成之后，再将变动的电子政务信息进行交换。这样不致因交换而影响、牵制部门原有的业务流程。

为了保证各个部门业务数据库的安全，所有的交换都通过交换前置机方式实现，每个参与交换的部门都设置交换前置机，隔离交换平台和其后台业务系统，任何部门都不可以直接读取其他部门的业务数据库。

实现数据交换的技术方式有： 1. 电子邮件协议(SMTP)、文件传送协议(FTP)方式实现;2. 通过网络互联协议(TCP/IP)的套接口协议(SOCKET)方式实现;3. 基于 RPC 协议方式实现;4. 通过基于消息队列(Message Queue)的消息中间件产品(Message Oriented Middleware，MOM)实现。

前三种方式实现的数据交换成本较低，第一种方式实现简单，但是安全性、可靠性、不能满足项目，由于采用自行开发的方式，实施周期较长，项目可控性较差，可靠性、灵活性远不足以满足本项目的要求。

第四种方式目前国际上已有成熟的商品化软件产品，主流产品已经有着 10多年的成功应用历史，多年的应用表明采用消息中间件产品实现的方式最为稳定成熟。

XML 作为自描述的语言与标准，与传统定制化的开发模式有着无可比拟的优势，无疑将如人类的语言一样成为计算机应用之间的交互载体，而提供了对 XML 日益完善支持的 DB2 9 的 pureXML(“纯”XML)技术日渐成熟，有效解决了数据的存储组织、效率等一系列问题。

使用 XML 来交换信息有很多好处，包括下列方面：

XML 使用自描述语言，易于理解。XML 使用人的自然语言描述信息，而不是计算机语言，非常方便用户对数据信息进行理解和利用。

可扩展。通过扩展新的标记进行数据结构的扩展，从而是数据交换的格式变得灵活、可变化，这对于需要与多个部门进行数据交换的系统尤为重要。

XML 作为 SOA 的架构的基础，已经广泛应用于数据交换中。

DB2 9 的“纯”XML 存储将 XML 存储在类似于 DOM 的层次模型中。数据库引擎能够对 XML 数据快速导航和执行查询,并能满足 XML 数据不断变化的要求。DB2 9 混合型数据库引擎可为在数据库管理系统中同时存储关系和 XML 数据提供灵活性和一贯快速的性能，因为数据库管理系统在每一个级别(从客户端到引擎，再到磁盘)都了解和支持这两种模式。XML 数据继承了 DB2 为关系数据提供的相同的备份与恢复、优化、可伸缩性和高可用性。最终，统一的 XML/关系数据库通过避免对分开存储的 XML 数据和关系数据进行集成，简化了业务过程。

另外，与 DB2 的“纯”XML 存储技术相匹配，IBM WebSphere Replication Server(原产品名为 IBM WebSpher Information Integrator)可以直接复制 DB2 数据库中的 XML 字段信息。同时，Q 复制技术是 IBM 的基于消息队列的新复制架构，是一种高吞吐量、低延迟的数据同步方法。它使用 WebSphere MQ 的消息队列在源数据库与目标数据库之间，或者在源子系统与目标子系统之间传递事务。通过捕获并同步数据变化的增量信息，Q复制技术使得数据源与数据目标之间的数据内容保持一致。

基于以上这些优点，快威科技的数据交换产品选用 DB2 9 和 IBM Websphere Replication Server 作为基础平台，采用 IBM Websphere MQ 作为传输平台，并扩展支持 Web 服务(Web Service)、工作流(work flow)等技术，不仅实现数据层面的交换和集成，还可扩展支持应用集成、业务流程集成的需要。

3、实现需求及解决方案

依据国家或行业标准，形成交换元数据的标准化;

基于数据交换标准，通过数据交换平台，经过沉淀形成权威数据，构筑数据分析与决策支持的数据基础，打通各部门、各部门各类应用系统之间的数据通道，加速数据协同，提高工作效率，避免数据的重复输入以及数据含义的多重性;

在沉淀权威数据的基础上，提供各类数据的 BI 应用，以数据为基础，让数据说话，使数据为应用服务，成为真正意义上的数据资产;

交换平台应该具备充分的灵活性，平台应避免因交换元数据、格式等等变更而导致任何技术架构的变动，通过简单的配置即可适应变化;

不同与定制化的数据交换方式，交换平台应提供自定义模式的支持，让最了解业务的业务专家而不是技术专家，来定义各类交换格式与标准;

平台应具备自维护功能，能自动检测可能出现的存储、内存、CPU等资源状况，能自动监控各类运行进程的运行状况，并能依据各类阀值采取报警、自动恢复等预设置的动作实现自维护，最小化人工维护;

交换前置机采用硬件+软件封装方式实现，简化维护，当出现严重系统故障时，可以通过更换硬件的方式维持交换的正常进行。

4、架构设计

4.1 应用架构

快威通用数据交换平台的应用架构如下所示：

共建部门作为节点接入交换平台，通过桥接处理把需交换的信息转换成XML，由交换中间件交换到交换中心，交换中心的比对系统对信息进行处理并汇总分类，然后沉淀到中心数据库;各共建部门通过数据订阅系统订阅所需信息，由交换平台推送到各节点。

为满足交换信息的多样性需求，交换信息采用XML技术，实现交换模版的灵活定制，使得系统用户自维护成为可能。

4.2 系统部署架构

信息交换平台由交换中心和交换节点两部分组成，交换节点部署在各共建部门，应用部署架构示意如下：

5、系统拓扑

信息交换平台典型的交换中心建设拓扑如下所示：

　交换中心至少配置四台服务器，作为数据库服务器、数据比对服务器和交换控制服务器，用来实现中心数据沉淀、数据比对、数据订阅、交换配置等功能;

中心沉淀数据存放在大容量磁盘阵列里，建议采用 SAN 架构，建议同时配置可靠的备份系统，实现数据的存储安全;

与节点互联采用冗余网络架构，各服务器也采用互为主备的集群架构，以提高整个平台的可用性、可靠性。