大数据产业竞争靠什么?星环打造大数据基础软件的中国“心”

  

国家实施国家大数据战略，塑造国家竞争力的战略制高点之一;企业推出大数据技术与产品，发展大数据服务，推动大数据产业发展;政府、社会以及各类用户依靠大数据，提升政府治理能力，优化民生公共服务，提高自身的竞争力。中国大数据领域的产、学、研、用大格局形成，中国的大数据产业蓝图已经绘成。

那么在火热的大数据领域，您知道背后竞争的核心技术是什么?在这些核心技术上我们国家是跟随者、追赶者还是开拓领先者?

作为目前国内极少数掌握企业级大数据核心技术的高科技公司，星环信息科技公司的创始人& CTO孙元浩在近日接受中国软件网记者的采访时认为，虽然在大数据领域目前国内大部分企业的核心数据库等基础软件系统还大都是来自国外公司，但是中国企业的应用场景非常复杂，中国的电信运营商、银行、交通等领域，数据量和复杂程度要远超国外同类企业，目前国外公司的产品还不能满足国内用户的需求。出于安全可控的需求，中国必须在大数据的核心技术基础软件方面取得突破。

基于此，星环提出的打造大数据基础软件的中国“心”理念。实践证明，星环的选择是正确的，一系列技术的突破和核心产品的推出，大数据领域的中国“心”正并一步步付诸实施。

大数据领域的基础软件是什么?

2017年初出台的国家大数据产业发展的纲领性文件——大数据产业“十三五”规划发布，提出加快形成安全可控的大数据产品体系。重点突破面向大数据应用基础设施的核心信息技术设备、信息安全产品以及面向事务的新型关系数据库、列式数据库、NoSQL数据库、大规模图数据库和新一代分布式计算平台等基础产品。

孙元浩认为，大数据生态可以分为四层，从下至上分别是大数据平台基础软件层、分析工具层、应用层和专业服务层。大数据领域的基础软件层提供了存储、计算、分析和挖掘等功能。因此，大数据时代核心平台不仅仅是分布式数据库软件，还包括了实时流处理引擎、NoSQL数据库、机器学习、搜索引擎、图计算等。

分布式的分析型数据库仍然是应用最广泛的产品，大量建立在传统关系数据上的现有应用，希望通过新的大数据技术来提升效率。同时，非数据库的应用也发展得很快，例如流处理技术目前已经广泛应用在物联网IoT中，机器学习技术也在逐渐升温。

例如，星环推出的产品Transwarp Data Hub就包括了高性能分布式分析型数据库Inceptor、流处理引擎Stream、NoSQL数据库Hyperbase、数据挖掘与机器学习产品Discover等子产品，以解决大数据的4个V——数据量大、类型复杂、速度要求高、价值挖掘——方面的需求。

分析和工具层包括统计分析软件、可视化、机器学习工具等，例如典型的BI厂商有Qlik、Tableau、帆软等;应用层是针对行业属性推出的基于大数据的应用，典型的代表有Palantir、ZestFinance等;专业服务层针对具有特殊需求的用户进行定制化开发与软件服务。

中国企业加入到大数据基础软件全球大格局的竞争

孙元浩介绍，大数据基础软件技术在过去10多年中取得了四个里程碑;

第一，2006年Hadoop技术的诞生，包括分布式文件系统和Map/Reduce计算框架，使得分布式计算得到普及。

第二，2007年，在Hadoop上的SQL翻译器Hive的出现和使用，使得Hadoop成为互联网公司以及后来很多公司的数据仓库的基础技术平台。

第三，2010年，HBase的广泛应用，特别是在Facebook的大规模使用，使得大数据技术不仅用于离线批处理，也适用于在线应用。

而第四个里程碑则是2014年左右Spark技术成为替代Map/Reduce的下一代高速计算引擎，被广泛接受，进一步扩展大数据技术应用到交互式分析和机器学习的领域。

因此，国内外大数据基础软件的竞争，仍然集中在SQL on Hadoop技术以及流处理技术上，同时围绕数据安全、数据治理等方面提供一系列的工具。随着业务需求的变化，竞争焦点也会有所变化。

目前国外的大数据基础软件产品，基本上形成了三家初创公司Cloudera、Hortonworks、MapR为主的市场格局，传统大型公司如IBM、Teradata、EMC、Pivotal等都开始采用这些公司的Hadoop技术。

因为Hadoop技术所具有的开源特点，在国内仍然有一些大型公司在使用或包装开源的Hadoop技术，不过未来的趋势和格局也会跟美国市场类似。

孙元浩认为，大数据基础软件具有技术门槛高、投资大、回报周期长等特点。虽然早期有较多国内外公司采取包装开源软件的方式提供大数据平台软件，但随着大数据应用的日益复杂，客户对产品和技术识别能力的普遍提升，对大数据平台产品的核心竞争力和产品差异化的要求越来越高，坚持自主研发和持续创新的公司才能持续获取客户。

星环的定位是专注核心底层技术的研发和产品化，坚持走自主创新的道路，同时与广大合作伙伴合作，支撑合作伙伴构建大数据应用。星环产品已经在几百个用户得到实践。

中国心开始发力，星环创造多个唯一

实现大数据“中国心”的目标，星环完成了多项技术突破，超越了硅谷的同类技术，并拥有多项专利，推出具有自主知识产权的3款产品，包括基于Apache Hadoop和Apache Spark的分布式存储、计算和分析平台Transwarp Data Hub(TDH)，目前唯一能支持Hadoop的基于Kubernetes的容器云产品Transwarp Operating System(TOS)，超融合大数据一体机TxData Appliance。

星环通过自主研发实现了多项技术的突破，如分析型数据库Inceptor是目前Hadoop平台上最具竞争力的批处理数据库，兼容Oracle、DB2和Teradata的SQL语法，方便传统应用迁移到大数据平台，也加快了新应用的开发速度。

在流处理技术上，星环最新的Stream流产品融合了低延时的事件驱动机制和复杂的批处理编程模型，也是全球唯一实现了该项技术突破并落地应用的流处理引擎。

星环的大规模分析型搜索引擎，在搜索引擎的基础上支持SQL统计，同时具备搜索与统计分析功能，也是目前市场上具备这个能力的唯一产品。

未来，星环认为，大数据平台软件会在四个方向发展;针对结构化数据，传统关系数据库和MPP数据库都将被以Hadoop为核心的大数据平台所取代，企业级的数据仓库和数据集市，以及现在说的数据湖，都将基于Hadoop来构建;针对非结构化数据的处理，利用深度学习来处理视频、图像、语音等实现智能人机交互等;为满足日益增加的IoT传感器数据处理的需求，融合事件驱动机制和复杂批处理编程模型的流处理引擎成为必需的技术;最后，机器学习和深度学习技术的发展，将推动大数据技术到全新的应用领域。

在科幻小说《三体》中，当太阳系遭到维度攻击时，带领人类逃离地球的唯一工具就是以光速进行星际航行的“星环”号。而以“星环”命名的大数据公司——星环科技，已完成2.5亿的融资，被评为“中国最具有投资价值企业50强”前三甲，也推出自主创新的技术与产品。打造大数据基础软件中国“心”的星环已经启航，记者看好她。