当前位置:首页 > 云计算 >

永洪谢玲:构建一站式大数据分析平台

发布时间:2016-04-28 14:32:14 来源: 作者:
[摘要]第九届中国软件渠道大会暨2016中国软件生态大会北京站于2016年4月28日在中关村软件园国际会议中心召开!下午举行的大数据分论坛与上午一样火爆,吸引众多的企业和观众。永洪联合创始人谢玲在会议上做了主题为如何构建一站式大数据分析平台的演讲,给我们展示了一站式大数据分析平台的魅力。首先互联网+运营对于企业来说还是
      第九届中国软件渠道大会暨2016中国软件生态大会北京站于2016年4月28日在中关村软件园国际会议中心召开!下午举行的大数据分论坛与上午一样火爆,吸引众多的企业和观众。永洪联合创始人谢玲在会议上做了主题为“如何构建一站式大数据分析平台”的演讲,给我们展示了一站式大数据分析平台的魅力。

首先互联网+运营对于企业来说还是对于政府机构,都是意义非常重大的。如果说一个企业的话,它不能够做好数据化运营的话,它可能会面临的一些问题,可能它在当前的业务状况呢,可能不清楚,或者说它的利润下滑了,或者说它的用户增长停滞了等等这些现象发生的时候,那他想要去快速地定位,可能会比较困难一些。也就是说当他下一次如果是发生同样的问题时候,他不能够很快的去找到问题、找到一个相应的应对解决办法。还有一个第三个层面,如果他的业务需要去进行扩展,需要去做新的招聘工作等等的话。在这时候做一些预测的工作,如果是没有一个很好的量化指导的话,可能是通过拍脑袋来决定的话,可能在这过程中会对企业来说会产生一些不必要的损耗。

如果它是要去开一个新的门店,我到底备多少货,这货在多长时间能消耗掉,或者说我要招人的时候,招多少人才适合一个新的门店支撑,这些如果有一个数据模型去进行相应的预测指导的话,无论是从经济上的成本还是时间、人力的成本都会有一个很大的节省。因为面临着现在很多的同行业的竞争或者是说跨行业的竞争都是非常激烈的。如果说在做一些决策性的判断时候,如果出现了一些失误,可能会对他带来半年甚至是一年的损失。再出现一些问题的时候,能够很快的精准去定位这些问题,再做一些新的尝试时候,能有一些预测的模型来帮助他做一些辅助的工作,要达到这样一个效果的话,我们就需要通过这种精细化的运营来去支撑,就需要通过这种探索式的方式来去搭建这样一个平台。

企业数据痛点

说到落地的话,无论是对于企业还是对于研究机构来说的话,都需要现,我们接触了企业,我们普遍反应的问题我们归纳有几个方面的特征。

第一个IT资源瓶颈化,如果是非IT型的企业,那它可能是一个实业的话,IT部门可能只占总人数的10%以下。大部分都是业务人员,业务人员可能占90%以上。这时候当每个季度或者说每个月或者说每周的时候这些业务部门就需要去提取一些数据,或者做相应的一些报告分析的时候,IT部门就会遇到这样子的现象,就是说大部分的需求,它在现有这资源下很难得到支撑,很难匹配上做出来。这时候通常去把这当前领导最关心的问题捋一下,看看现在人手有多少资源去调配,选择重要的5%,或者10%来覆盖,这样就导致一个现象,这企业很多的业务需求是不能得到满足的。就会导致IT部门非常忙,业务部门的需求非常着急,那他提出来的需求,可能响应的周期是以周为单位,或者是以月为单位,才能得到一个实现。这是第一个痛点。

第二个痛点就是说工具的碎片化。我们在做这样子一个数据处理过程中,可能会要考虑很多层面。那可能会涉及到ETL,地层的怎么架构,可视化以及深度分析怎么考虑。如果媒妁一个环节IT部门欧需要去跟不同的供应商、不同的产品去合作。再实施上面也会要进行串行的开展。也会带来相应的一些集成的成本和维护的成本,以及我们使用者学习不同的工具去使用,那它学习门槛也是非常高,用户的体验也是非常不一致的。

第三个痛点就是不能有效的利用大数据。我们大部分对于海量数据的存储和离线数据处理的话已经有非常多的支撑,但是对于急需查询或者是交互式分析的话,可能对于实时的计算性能的要求,也会越来越高,这样这来说也是一个非常大的挑战。如果说一个计算性能不能够满足这样业务需求的话,这业务就需要等待反应响应的速度,就导致这体验是非常糟糕,所以这是第三个的特点。

企业大数据应用核心

我们就会看到这样子的现状,就是说企业对于这方面的投入是非常大的。对于它的预期也是非常高的。但是最终它的投入和产出比是不能得到一个相匹配的。通过这Forrester调查机构有83%的用户是不愿意用企业级的分析平台。我们提出一个问题,如何让数据真正被业务所去使用促进业务的发展?我们在2015年美国最权威的咨询机构Gartner,提出了这样一个敏捷性的BI五、探索性的分析已经大势所趋。在业务驱动逐渐在BI的领域逐渐产生了一个变革,我们过去来看的话,IT部门是来主导这样的平台的建设,投资方可能是IT部门,这个系统的建设的话,都是被高度集中、高度管控被IT来主导的方向。

大部分的需求都是IT部门产出推送给消费者或者是分析人员。现在就是从大部分的商业用户来说的话,它对于探索式的分析需求,也越来越多了。需要通过数据去提高它的洞察率,但是他们的IT技能和数据科学分析的这种技能是非常有限的。我们从2014年开始就很多IT为中心的BI平台,就是被业务驱动性的产品和交互分析产品来得到替代。

国内也越来越多的企业借助这样子的高性能平台,能够处理大数据的平台驱动的业务平台来去解决他们的问题。2016年也出了一份报告,这个很明显,传统型和报表型的BI已经完全从领导者驱逐出去了,完全已经被敏捷性的产品所占据。探索式的分析也融入到一站式的大数据平台里面。

什么是一站式大数据平台

那我们说一站式大数据平台,包括哪些方面呢?它包括自服务的数据准备,包括探索式的分析、深度分析以及企业级的管控。

自服务数据准备比较好理解,就是去做一些数据清洗、汇集的工作,将数据准备好可以成为分析的状态。再下来的探索式分析什么叫探索式分析,就是说如果一个业务真正在分析的时候,它的需求是非常多变的,例如说当我看到了一个问题是趋势在发生下降的时候,那可能我要切换不同的角度来去看,说我的原因是什么。这时候他想看某一个产品线发生了变化,还是说我全年的数据在变,还是某一些时间段是连续的还是间断式的下降,以及我在人员上面有什么特征、地域上面有什么特征,这些都是不可预期,他可能看到明显趋势的时候,才会发生了一些想法,再去找到这真正的答案。所以的话这整个的过程是不可以提前做好设定,不可以做好提前的计算。所以这时候就是一个高度灵活的非常自由的阶段。所以我们叫这是一个探索的一个分析路径。所以说对平台的要求是非常灵活和可预见的。我们在落地会有最佳的实践,我们总结了一下最主要的特点就是建模层和业务层要进行一个分离。或者说来自于建模层和业务层进行分离,建模只需要考虑表与表之间的关系,而不是纬度和指标,纬度什么样的组合,计算要做哪些方面的设立,这些统统都不需要考虑,这样达到的效果就是当表没有关系,这个底层没有变化的时候,我任何的分析都快速从这模型中找到答案,所以最关键的点就是说这建模层和业务层进行一个分离才能达到高度灵活的效果。

我们过去是怎么来做的?就是我们看下面这张图,就是过去我们传统的做法是说,它的图跟上面答题差不多,过去大部分的数据从原始的数据源里面抽取过来以后,需要进行一个处理,处理建模的时候,之前都是采用数据的存储,当它数据量达到了1亿或者是更多的时候,这关心的数据库就不支撑这样的分析,这时候通常的做法就是提前做好计算,那我们就会发现有很多的银行客户,那他就会说在这当天晚上就会把很多计算给提前方式计算好,存储在数据存储的结构里面。到第二天的时候领导才能去打开去看前一天的数据跑出来的结果。

这样的话就会,虽然说体验式得到一定的解决,它能够在几秒钟把复杂一点的计算,能快速的打开,但是它上升了一个灵活性。就是当我说想看到指标发生变化的时候,我是想要再去尝试说,我要换一下看它的中位数发生变化,还是说总和数还是它的平均值发生变化,这时候我想去改这计算公式,它就没有办法,这时候它还需要有由IT部门重新再提交需求,当天晚上跑出结果以后第二天再来看这结果,这不是敏捷性和灵活性看这过程。

我们从明显的界定上面来看的话,就是说探索式的分析和这种传统的分析,那它在价值上面是不一样的。可以说从有限的价值能够变到价值完全释放的程度。但是一线的业务人员需求是非常多的,如果数据只能被少数人去掌握的话,那它的一个企业的数据价值不能够得到一个充分的释放。对于以前的企业服务软件,只要把这功能做出来的就好,但是现在对于2B的软件,同样也是需要做到极致应用,让人人都可以使用起来来去分析的。同时还可以去做好大数据场景的处理,以及包括从长远的角度来看,如果说我们固定的看这报表的话,有可能是四纬,就是领导通常只能报表呈现什么就看什么,而不能用探索的手段就说我想要看什么,报表就呈现什么。

以及说我如果当我做一个新的尝试时候,我这需求不能得到满足,需要等三五天的时候,我整个的思路被打断,当我下个星期拿到结果的时候,我当初思考的原因,可能从原来的5个,可能只能想起3个。或者在性能方面的话,如果说仅仅是把性能从1秒提高0.1秒这价值并不大。但是在这样子不同性能下面的话,原来只能探3个月的范围我现在能探5年的范围。除了这之外的一站式大数据平台还需要什么呢?还需要业务用户能够轻松的去使用探索式的深度分析的平台。我们有很多用户他虽然不是数据分析师,但是他也有这种深度分析的需求,这时候的话他不懂得这算法,但是它的需求是非常明确,他可能想要去做一些用户画像去进行用户的类别划分,他知道目的是什么。但是不知道怎么用这工具来实现,但是我们如果用常见的算法的话,对于业务用户也能够轻松理解这样子的算法,比如说聚类、分类、回归、时序等等的算法,在这平台上进行相应的分析,这样就能达到三个效果,就是第三个层面的深度分析的效果。

本来在这环节上,应该要有一个damage岩石一下交互式的数据分析和自服务的数据准备,以及深度分析怎么样过程,因为今天的时间有限就不再做任何的演示,如果大家有兴趣的话可以到前面的展台可以来体验一下。

我们通过这样的研究打造这样的产品是极致用户,配灵活的自数据的准备,以及移动画屏,可以去搭集全屏,构建更大规模的集群来去解决这样子的问题,这是我们的产品理念,以及说我们可以让用户去做这种探索是的分析以后,把这门槛和成本降低,让它可以在不用担心成本的情况下去尽量的进行试措,这是我们一些客户在搭建一站式大数据平台去解决他的数据使用的效果,这是每年做用户回访,用户的手册,大家也可以在手提袋里面可以找这到客户手册。

最后就是我们的愿景也是初心,我们成为国内也是国际领军的一站式大数据平台的提供厂商。

【返回首页】