东方通中间件平台构建PICC数据大集中系统

项目背景

　　中国保险业的计算机应用历经十几年的发展，各公司、各地区业已不同程度地进行了全面的业务电子化建设，大部分数据已进入计算机内。随着时间的推移，今天大家都面临信息爆炸的威胁：数据量快速增长，数据有效期长，历史数据积累率高，数据点相对分散，数据集中和共享水平低等一系列的问题暴露在我们面前。大多数信息系统目前尚未建立科学的数据管理体系，多为手工备份、分散管理、无重大灾难恢复能力。长此下去，数据的科学管理、有效应用及安全问题成为诸多隐患，阻碍了保险业务的发展。

　　中国保险业发展到今天，大多数保险公司除具备核心的业务系统之外，还建立办公自动化系统、财务系统以及相关的一些其他系统，诸如客户服务系统、影像管理系统等等。这些关键IT系统建立在传统的C/S方式和分散的网络架构中，很难做到数据共享、高效地利用。由于数据分散，管理成本加大，存储设备重复投资，利用率低，容易被淘汰。这样的数据架构对于保险公司实现对现有数据的有效应用，诸如商业智能应用(Business Intelligence)、客户关系管理(Customer Relationship Management)、风险管理 ( Risk Management)等等方面都造成了巨大的障碍，所以相应地也影响了保险业务的发展。

　　由于保险行业的业务特点，决定了它对于数据的特定需求。例如保险公司需要掌握大量的客户历史数据，并进行针对性的、具有行业特性的应用，如保险数据仓库的建立、客户历史数据的挖掘，海量数据的快速查询和分析以实现多方面的业务目标。

　　数据集中是现在各行各业应用系统发展的一大趋势，金融、电信行业由于其发展的较早，经济和技术实力较强已经走到了前面。金融行业已有许多省份实现了省级的数据集中，移动总局也已经明确提出了省级数据集中的运营模式。在保险行业，由于过去一直采用数据分布的应用模式，如今采用地市级的数据集中应用模式是向更高层次集中的必要尝试和过渡，采用这种过渡方式即可以积累一定的技术经验又能够有效规避风险
。
　　中国人民保险公司经过多年的发展从保险的种类到业务量都有了很大的发展，目前已经有企业财产保险、家庭财产保险、责任保险、保证保险、车险等多个种类，业务量以每年10%的速度增长。应用模式也在悄悄不断地发生变化以适应业务上和管理上的需要，已由原来完全分布式的业务数据模式走向地市一级的分布式集中模式。

需求分析

　　对于各个地市数据中心的数据在省级中心、总部中心做增量数据集中，目前有两种方式：采用数据库厂商提供的数据库复制技术、用应用程序来实现。无论选用何种方式，在技术实现上应该满足以下基本业务要求：

　　· 良好的跨平台性：能够满足不同操作系统平台间（不同数据库版本、甚至异构数据库）的数据复制能力。

　　· 高可靠性：数据通讯过程中的正确性应该得到保障。

　　· 良好的容错性：对数据传输过程中可能遇到的网络问题、主机问题应该能够有很好的应对机制，能够可靠传输，做到不重、不丢。

　　· 良好的时效性：整个数据集中系统应该具有良好的通讯效率和处理效率，满足数据准实时集中同步的要求。

　　要满足上述业务上的需求，采用常规的数据库复制方式和一般的应用方式是难以达到的。原因在于无论是数据库复制方式还是一般的应用方式其通讯处理方式过于简单，低层通讯的正确性、资源的有效利用和网络故障的处理应对、主机故障的处理应对等没有很好的机制来加以保障。所以就有可能出现乱码、或者当网络抖动或拥塞时，数据集中业务过程无法有效进行等问题。

　　目前，针对此类应用（非联机事务处理系统，强调可靠性、非关联性、实时性要求不高）特点，各行各业广泛采用消息中间件来实现。消息中间件是一种基础软件，在系统中的位置处在操作系统之上和应用之下，它可用来隔离应用系统对操作系统和网络的直接关联和依赖。东方通科技公司的消息中间件产品TongLINK/Q负责网络资源的有效利用、消息数据传输、为应用屏蔽网络故障、通过内部的自动压缩/解压功能减少网络通讯量等。其典型使用是异步方式调用，此时地市数据发送方只要将数据交给本地的中间件TongLINK/Q，而TongLINK/Q负责将数据高效、可靠地传输到省中心并提交给相应的目标程序进行入库处理。

PICC财险数据集中系统

　　省级数据集中方案是当市级公司数据库数据发生变化时，对其所在省的省级的数据库数据做相应同步的过程。PICC财险数据集中系统结构图如下： 
 

　　由于此时对于数据集中备份过程而言，它是一个必须要完成的工作，而在时间上只求尽快、可靠完成，并无严格的时间限制，采用消息中间件产品TongLINK/Q来实现。另外，在应用层面，为了使集成商开发的应用系统相对独立，对数据集中备份过程建议采用一套独立的应用来完成。

　　在市级公司数据中心编写一个定时启动程序或守护进程，用来采集数据库的变化数据，一旦有数据它将以业务处理单元为单位将它投给TongLINK/Q的可靠队列中。在省级数据中心，编写对应服务程序，它在接收到数据后将在本地执行相应的数据库处理以达到数据同步。TongLINK/Q还可以保障服务处理的可靠，即如果服务程序在执行相应的数据库处理时意外失败，TongLINK/Q将记住这一问题，再次提请相关服务程序进行处理，直到成功。

　　消息中间件TongLINK/Q在PICC财险数据集中系统中的部署图如下：

　　系统由地市客户程序、地市TongLINK/Q运行系统、省级TongLINK/Q系统和省级服务程序四部分组成。地市客户程序负责对地市需要上传集中的数据做识别和提取，并形成数据包或文件，然后通过TongLINK/Q的API接口作为一项任务消息提交给TongLINK/Q即完成。客户程序的启动运行可以外部触发（如：数据库trigger）执行，也可以交由TongLINK/Q作为定时程序按一定时间间隔进行调度；消息数据的传输以及相关效率、可靠等问题由TongLINK/Q解决；省级对应的服务程序可以由TongLINK/Q在有数据需要处理时进行调度，并将相关数据交给服务程序进行处理。在有多条消息数据到达时，也可以同时调度起多个服务进程同时进行多个消息数据的处理。数据从省级中心到总部中心的工程与上面的处理类似。

系统特点

　　·提供异步处理接口。为了使数据备份复制过程不影响原来应用系统（相对独立、不直接双向依赖），采用异步通讯方式。

　　·提供可靠传输能力。依靠消息中间件TongLINK/Q的可靠队列传输功能，使地市增量备份数据可以尽快、可靠到达省数据中心主机。在传输期间消息中间件TongLINK/Q可以应对各种故障的发生，如通讯网络故障、主机宕机等情况，可以做到断点续传，使备份数据"一次传递、可靠到达"。

　　·可以提供备份过程数据库操作的事务性处理。即除了数据的传递是可靠的之外，在省级数据中心数据的数据库备份操作也是可靠的。在对备份数据进行数据库插入或修改操作时，如果操作失败（比如，当时数据库状态不对引起数据库操作失败），消息中间件TongLINK/Q将会保留这一信息和数据，重复执行相应处理过程，直到成功。

　　·维护和保持通讯通畅。TongLINK/Q对通讯通道具有自动维护功能，当网络出现抖动影响通讯时，TongLINK/Q可以自动监控和重建链路来保障通讯的快速恢复。

　　·保障通讯效率。TongLINK/Q通过以下手段来保障通讯效率：维护通讯畅通和自恢复；支持断点续传；根据网络带宽情况有不同传输策略来保障网络带宽的充分利用；支持自动压缩功能，减少通讯数据量。

　　·支持服务端程序的并发调度和控制。上传数据自动提交相应的处理程序进行处理，对多个地市同时上传的数据可以并发调度多个服务程序进行处理，提高处理效率。

　　中国人民保险公司的业务数据集中已经于2002年7月开始运行，业务数据已经由地市集中到省、到总部。这为中国人民保险公司的商业智能应用、客户关系管理、风险管理等打下了良好的数据基础，数据可以发挥更大的作用。

• ·黑匣子监控系统[图]
• ·EZ-Lock易锁_文件加密保护系统[图]
• ·DCI黑匣子网络安全监控系统[图]
• ·博商零售业网上商店系统解决方案
• ·博商企业级B2C电子商务解决方案

• ·广州正航--防伪税控接口系统（防伪税控接口软件）
• ·装柜软件装柜专家,节省运费
• ·实用网络教学系统
• ·奥博行业即时通信(p2p)
• ·ISOA让你的员工沟通更畅通、工作更轻松！