数据将主导一切？研究发现53%的公司正在使用大数据分析

Dresner Advisory Services 的创始人简首席研究员Howard Dresner表示，“在我们对大数据分析进行全面研究的三年中，我们看到使用率的大量提升以及无采用计划比例的大幅下降。 而在2017年中，IT部门员工成为了最典型的大数据应用者，尽管所有部门(包括财务部门)都在考虑在未来应用大数据分析，这说明大数据已经不是一种实验性的尝试，而是一种组织内部的实践性追求”。

本次报告中，主要发现如下：

报告、仪表板、高级可视化、最终用户“自我服务”以及数据仓库是公司BI战略中排名前五位的技术和措施。大数据目前在Dresner Advisory Services追踪的33项关键技术中排名第20位，高于物联网(IoT)、自然语言分析、认知BI和位置只能，这说明大数据的战略重要性高于上述技术。

目前有53%的公司正在使用大数据分析，而2015年这一比例仅为17%。电信与金融服务公司是这一波增长中主要推手，他们是大数据分析服务最活跃的早期应用者，接下来的是科技与医疗行业，而教育行业的大数据应用者占比最低。不过2017年以至年末，大部分的教育公司正在对于大数据的使用与否进行评估。在地区中，北美地区(55%)稍微领先于欧洲、中东以及非洲地区(53%)。来自于亚州地区的大数据使用者目前仅为44%，但这也说明他们最有可能将在未来使用大数据分析。

数据仓库优化被受访者广泛认可为最重要的大数据分析用例，其次分别是客户/社交分析与预测性维护。70%的受访者认为数据仓库优化是重要或非常重要的是，不过很有趣的是，IoT是目前大数据分析用例中优先级最低的。

大数据分析用例在行业中差别很大，在金融服务中，数据仓库优化主导所有用例;科技公司则主要使用大数据分析以进行医疗保健和客户/社交分析应用。同时，在金融服务和电信公司中，欺诈检测应用比例也较高，而点击流量分析也在金融服务的用例中处于领先地位。

Spark，MapReduce和Yarn是当今最流行的三种软件框架。 超过30%的受访者认为Spark对他们的大数据分析策略至关重要。而也有20%以上的受访者认为MapReduce和Yarn “至关重要”。

最受欢迎的大数据访问方式包括Spark SQL、Hive、HDFS和Amazon S3。73%的受访者认为Spark SQL对他们的分析策略至关重要， 而超过30%的受访者认为Hive和HDFS也很重要。 作为五大数据访问方式之一的亚马逊S3也具有较高认可程度。 下图显示了大数据访问方法的分布情况。

机器学习将继续获得更多的行业支持和投资计划，Spark的机器学习库(MLib)的采用率将在未来一年内将增长60%。 根据调查结果，在未来两年内，MLib将主导整个机器学习的使用，用户将可以从Sparklyr R Package和其他产品中获得MLib,而这些产品将不断推动公司的发展。