如何让数据业务在线?你需要一个支持弹性、灵活数据服务的数据云

[摘要] 企业开始着手解决以前数据分析遗留的数据孤岛的问题,并建设除了分析业务系统外的在线数据业务系统。云+大数据+AI融合,在私有云平台上,提供数据云PaaS平台,支持企业构建弹性、灵活的数据服务和应用。

本文作者│刘学习Fiyinghare

6月23日,上海的高考成绩公布。考生和家长可以通过考试院网站、政府公共信息网站,甚至微信、支付宝、电话热线等各种形式查看分数。

这个现在看起来非常普通的数据在线业务,在以前却是难以想象的。从上海市考试院到上海大数据中心,要完成数据的采集、传输、存储、处理、分析,再到打通各个数服务应用通道,向广大考生和家长提供在线的数据服务,背后离不开大数据技术与方案的努力。

星环科技研发总监刘汪根说,其实,考分查询只是上海大数据在线服务的一种。作为"智慧政府"的基础设施,上海将依托大数据中心这个城市枢纽,构建全市数据资源的共享体系,制订数据资源归集、治理、共享、开放、应用、安全等技术标准及管理办法,打破部门"数据孤岛",从而推动政务服务从"群众跑腿"向"数据跑腿"转变。

6月28日,星环科技百城巡展首站来到了北京。刘汪根在演讲中表示,同样,企业开始着手解决以前数据分析遗留的数据孤岛的问题,并建设除了分析业务系统外的在线数据业务系统。云+大数据+AI融合,在私有云平台上,提供数据云PaaS平台,支持企业构建弹性、灵活的数据服务和应用。

企业上云就要支持弹性、灵活的数据服务和应用

随着前台或者业务端人员对数据服务需求的越来越多,企业需要开发出大量新的数据应用来持续的迭代业务,改进用户体验,包括实时类、AI类、在线数据类业务的大量创新和尝试。因此,就需要分层设计和更好的数据建模,提供多种不同的数据计算能力,并可以根据业务负载进行弹性的伸缩,最终需要云计算技术来支持弹性、灵活的数据服务和应用。

对于数据业务云平台的要求也发生了根本性的变化,并呈现几大特点:

第一,数字化时代业务应用的开发思路需要转变,要从以产品为中心,转向以用户和体验为中心。

第二,开发方式要从单体应用开发模式转变为微服务开发模式。单体应用开发是很多人参与同一个项目,往往耦合重、开发效率低、经常重复造轮子、开发周期长,而且往往是"牵一发而动全身"。

而微服务是一种将单个应用以许多微小服务所组成的服务套件形式来构建软件的方法,每个微服务拥有自己的轻量级数据处理模块和通讯机制,可以独立进行开发和部署。因此能更快的交付,更灵活的运维,并避免掉重复造轮子。

第三,企业数据业务核心由外包的开发模式,转为自研模式,要么通过新的管理方式来规范研发,要么是自建研发团队。而当微服务量级提高,可沉淀为应用中心,为全公司乃至全行业赋能。

破解传统云计算瓶颈 数据云PaaS几大优势

大量的实践表明,企业在数字化创新中经常会遇到缺乏统一的方案、缺乏统一的开发平台、数据资产管理混乱、没有形成技术及业务上标准等技术挑战。应对这些挑战,需要利用最新的技术,建立数据应用和服务为核心的数据云平台。

刘汪根说,数据云PaaS的先进性表现在几个方面

首先,在设计思路上,以数据为中心,以业务作为导向,可以加速业务创新速。数据、应用和智能是数字化的三大核心原料,需要在一个PaaS平台上提供包括数据分析、应用开发和智能建模等在内的完整的工具链,并开放给尽可能多的使用者来尝试创新。

其次,在实现技术上,从传统的虚拟化技术升级为容器化技术。容器技术有效的解决了虚拟化技术的性能问题,又更好的满足微服务所需要的轻量级、弹性的能力,可以提高数据中心的资源使用率的同时,能够给微服务提供更好地的弹性和扩展能力。而通过技术创新,容器技术同样可以支持包括分布式数据库在内的复杂业务系统,同时还可以提供多租户、自动扩展、自动化冗余等能力,对业务开发者来说进一步降低了运维的难度。

第三,在管理层面上,从更好的进行管控转变为更好的融合互通。应用可能会运行在公有云、私有云、边缘端等任何可能有计算能力的地方,而数据也会随着业务而沉淀,应用将具有跨云能力、数据的互通互联、云端和边缘端协同等。

星环科技数据云就是面向大型企业数据应用开发的PaaS

为了满足企业数据在线服务的需求,支持弹性、灵活的数据服务和应用,星环科技构建了数据、应用、智能融合的数字化PaaS数据云平台。今年5月星环Transwarp Data Cloud 2.0版本的发布。

刘汪根说,和传统云技术相比,数据云有着完全不同的设计思路,它采用新一代云原生技术打造,以数据为中心,通过提供完整的数据、应用和智能的开发工具,实现数据和应用互通互联的云技术。

从架构上说,数据云从传统的以应用驱动开发的方式形成的烟囱式技术栈,转变为追求服务共享复用思路的层次化设计。企业数据云包含了技术底层、数据业务中心层和业务服务层。

 

最上层是直接服务于业务的服务层,提供App、Web等的访问和交互能力;中间层是企业的数据业务中心,包含企业沉淀的各种有效的业务服务和数据服务,数据都做了有效的建模形成数据资产,可能包含数据仓库、数据湖或者数据中台的建设;而最底层应该是云基础平台,提供包括大数据、AI、Kubernetes、容器、数据库、计算、网络、安全等在内的技术能力。

刘汪根说, 企业的数据业务中心经过发展和沉淀,可以形成企业的数据中台和业务中台,是企业数据和业务能力的积淀。

这一数据云PaaS的核心是把可以共享的能力抽象为可以"自助、自动化"的服务,无论是数据库、大数据、AI建模、应用开发、微服务能力等,甚至是技术栈的管理,都可以被抽象为可以被大规模复用的服务。

为了有效的融合数据、应用和智能,TDC提供了DB-PaaS、Application PaaS和Analytic PaaS三个核心模块。

 

首先,星环科技已经能够提供几乎所有的数据库品类,包括分析型数据库Inceptor和闪存数据库ArgoDB,覆盖包括图数据库、Bigtable、文本搜索在内的NoSQL数据库,提供实时计算引擎Slipstream,以及交易数据库KunDB,所有的数据库都采用分布式技术来实现,并大规模在生产落地。因此,TDC是目前提供最完备的DB-PaaS能力的私有云产品。

第二,TDC也提供齐全的应用PaaS能力,企业可以将通过TDC来建设DevOps流程,TDC提供包括Spring Cloud、go、NodeJS、python、java、PHP在内的标准化的应用开发框架,帮助研发团队更快的开发和运维微服务。

第三,在分析平台上,星环科技Transwarp Studio工具集包含了数据开发IDE、数据任务调度、数据同步与ETL、OLAP Cube建模在内的图形化开发工具,提高大数据开发效率。也提供了数据资产管理工具和可视化分析工具,并提供跨租户的数据交换和共享能力,加速数据工作者之间的协同创新。在智能建模方面,星环科技Sophon提供了端到端的数据建模能力,而Sophon NLP、知识图谱、视频分析等模块可以更加直接的给应用提供智能的推动力。

大数据无疑给众多企业带来了竞争突围的曙光,对于大多数公司最明智的决策方式是数据驱动与客户驱动。云+大数据+AI融合,从购买工具,到建设数据云平台,支持弹性、灵活的数据服务和应用,是企业上云并向上攀升的必要途径。

 




版权声明:

凡本网注明”来源:中国软件网(http://www.soft6.com)”的所有作品,版权均属于中国软件网或昆仑海比(北京)信息技术有限公司,未经本网书面授权,不得转载、摘编或以其它方式使用上述作品。

任何行业、传播媒体转载、摘编中国软件网(http://www.soft6.com)刊登、发布的产品信息及新闻文章,必须按有关规定向本网站载明的相应著作权人支付报酬并在其网站上注明真实作者和真实出处,且转载、摘编不得超过本网站刊登、转载该信息的范围;未经本网站的明确书面许可,任何人不得复制或在非本网站所属的服务器上做镜像。

本网书面授权使用作品的,应在授权范围内使用,并按双方协议注明作品来源。违反上述声明者,昆仑海比(北京)信息技术有限公司将追究其相关法律责任。