存储成本与检索效率的有效平衡

2004-10-15　发布方：hisuntech　网友评论 0 条　点击进入论坛

    背景介绍

    中国建设银行陕西省分行的业务系统在实现了省级的数据集中后，业务数据量与日俱增。由于受到存储容量和系统查询效率的制约，现有的系统不能无限制的存储这些数据，并且在生产系统上发生的大量查询操作对交易效率的影响也越来越大。为了解决数据存储和查询的问题，迫切需要一套海量存储系统，以满足对不断增长的业务数据存储和查询的要求，同时应尽量降低系统的实现成本。

    解决之道

    2002年4月，陕西省建行与北京高阳金信信息技术有限公司合作，利用先进的数据库管理技术和大容量存储管理技术，综合考虑数据的查询频度的需求，将数据按照近期、中期、远期三个阶段进行分级存储管理：将时间较近、访问频繁的数据存储在磁盘阵列中，提供高速的访问响应；将时间较远、访问较少的数据存储在低成本、大容量、易扩展的光盘库设备中，在保证合理响应速度的前提下尽量降低系统成本。为了实现上述目标，系统提供了对磁盘、光盘数据的一致性访问接口，对系统中的数据提供统一、透明的访问机制；系统同时提供了数据迁移的内部管理机制，保证数据从磁盘迁移到光盘时对用户的透明性。
    本系统管理的数据包括两种类型：以数据库表的方式组织的"结构化数据"，和以文件的方式组织的"非结构化数据"。系统对两类数据提供了统一的访问控制机制。

    实施效果

    该系统目前已经投入运行。从系统运行的情况看，对于需要频繁访问的近期数据，平均响应时间约为10秒左右，与目前一些著名网站的访问效率相当；对于较少访问的远期数据，由于数据已经被迁移到低速的光盘库设备上，平均响应时间大约为2分钟左右，能够满足实际的查询需求，达到了以较低的成本实现海量数据的有效存储、检索的要求。
    该系统运行以后，生产系统上逐渐减少了历史数据的存储量，原来在业务系统上发生的大量查询请求也逐渐转移到本系统中进行，大大减少了生产系统上非生产性操作的资源占用，不仅满足了对历史数据查询的要求，同时还提高了生产系统的效率。

    效益点评

    该系统可以采集储蓄系统、会计系统、信用卡系统、个贷系统以及其他业务系统的信息资料，构建了一个业务数据分析、加工和利用的统一的平台，也为以后数据仓库系统提供数据储备。
    该方案由于采用了统一、透明的数据库存储访问、光盘库设备的逻辑管理和数据迁移管理、查询条件和查询结果的动态控制、多属性、层次化的安全管理等先进技术，有效解决了数据存储空间不足和查询效率低的问题，同时有效控制了实现成本，从实际运行效果看，达到了成本和性能的有效平衡，是一种可资借鉴的技术方案。

已有 0 位对此文章感兴趣的网友发布了看法　

我来评两句	登录邮箱：密码：
请您在这里发表您的个人看法，发言时请各位遵纪守法并注意语言文明！
	匿名发表