《2018年大数据成熟度调查报告》解读大数据领域的十大趋势

　　众多企业正在慢慢将大数据迁移到云端，但仍然没有克服与孤岛、员工技能短缺和数据治理有关的挑战。本文为您带来《2018年大数据成熟度调查报告》中所包含十大要点，着重表明了大数据领域的几大趋势。

　　大数据分析(BDA)不再是最新的热门IT趋势。相反，如今它是大多数公司开展业务的一个必要部分。

　　用IDC分析和信息管理集团副总裁Dan Vesset的话来说，“在采用阶段苦熬多年后，大数据和业务分析解决方案终于进入主流。作为决策支持和决策自动化的赋能者，BDA现在备受企业高管的关注。这类解决方案也是在全球范围内支持各行业数字化转型和业务流程的主要支柱之一。”

　　他公司预测，到2020年，企业BDA支出将以11.9%的年复合增长率(CAGR)增长，到时收入将超过2100亿美元。

　　然而，随着大数据分析领域日趋成熟，企业在该技术方面的经验也日趋丰富。它们在寻找新的工具和部署模式;虽然它们克服了处理大数据方面的一些挑战，但其他挑战仍然困扰着分析项目。

　　为准确评估大数据实践在发生怎样的变化、哪些方面又没有变化，商业智能厂商AtScale最近与Cloudera、Hortonworks、MapR、Tableau、Apache软件基金会和ODPi(Linux基金会旗下的项目)合作，共同开展了一项全球调查。在三年期间，它们收集到了来自各行各业的5593名企业架构师、大数据领导人和其他IT专业人员的回复。因此出炉的《2018年大数据成熟度调查报告》包含这十大要点，着重表明了大数据领域的几大趋势。

　　1. 大多数企业对自己的大数据能力过于自信。

　　企业高估了其在大数据分析方面的表现。在2018年的调查对象中，78%表示会将其企业的大数据成熟度评为“中”或“高”。但是当AtScale独立评估企业时，只有12%符合高成熟度方面的标准。虽然这比2016年处于高成熟度的企业所占的比例：8%有所提高，但这表明企业仍有很大的改进空间。

　　也许那些过于自信的大数据专业人员应该更关注Gartner在大数据项目失败率方面的预测。2016年，该调研公司预测，60%的大数据项目会失败。不过在2017年底，Gartner分析师Nick Heudecker发推文：“我们太保守了，失败率接近85%。问题不在于技术。”

　　2. 55%的企业仍设有孤立的分析团队。

　　如果正如Heudecker所说的那样，大数据项目的问题不在于技术，哪在于什么呢?

　　大数据失败的一方面原因可能来自组织挑战。AtScale调查发现，55%的企业仍然设立孤立、分散的分析团队。只有34%的公司遵循这个最佳实践：设立卓越中心或其他集中式数据科学团队。

　　一些行业在这方面比其他行业做得更好。公用事业公司和互联网公司最有可能设有集中式团队，电信和金融服务公司处于落后，通常设有多个孤立的团队。

　　3. 77%的企业预计将来会将云应用于大数据。

　　AtScale调查还显示了一种明确的观点：大多数大数据分析有一天会在云端进行。在2018年，77%的调查对象表示，他们的部分或全部大数据最终会部署在云端，而2017年72%的调查对象表达了同样的观点。

　　分析师们似乎一致认为大数据在转向云。弗雷斯特研究公司的副总裁兼首席分析师Brian Hopkins在博文中写道：“五年后，你将在公共云上使用Insight PaaS处理大数据。”他补充道，云数据支出的增幅比内部部署大数据软件支出快7.5倍。原因何在?云大数据成本在急剧下降，而人工智能技术一直让这些服务日臻完善。

　　4. 今天41%的企业未将云应用于大数据。

　　云可能是未来，但今天并未普及开来。在AtScale调查中，41%的调查对象表示其企业今天在云端没有大数据。此外，28%的企业将不到一半的大数据放在云端，15%的企业将一半以上的大数据放在云端，16%的企业将大数据全部放在云端。

　　实际上，许多大数据专业人员还没有确信云是大数据的正确部署方法。被问及想为大数据项目选择哪种部署类型时，近一半(47%)选择了非云，40%选择了云部署，13%则悬而未决。

　　5. PowerBI越来越受欢迎。

　　AtScale调查还发现各种商业智能(BI)解决方案的人气发生了变化。两大工具：Tableau和微软Excel自2016年以来一直保持超高的人气。2018年的调查对象中63%使用Tableau，50%使用Excel。

　　然而，名单上的第三位出现了戏剧性的转变。在2016年和2017年，Business Objects排在第三位。但在2018年，Business Objects跌到了第七位。微软PowerBI在最近的调查中名列第三，而在2017年排名第七，2016年没有上榜。调查对象中25%表示在使用PowerBI，超过了Qlik(23%)、IBM Cognos(19%)、Microstrategy(19%)和SAP/Business Objects(18%)等解决方案。报告作者因此得出了结论：“微软商业智能(PowerBI和Excel)在这个市场的影响力最大。”

　　6. 95%的企业将来会保持或增加大数据的使用。

　　95%的调查对象表示，其公司计划在未来三个月内保持或增加大数据的使用，5%的调查对象表示其公司会减少大数据的使用，这不足为奇，但仍值得注意。

　　这与Gartner的观点一致，去年Gartner建议道：“随着数据和分析得到更广泛的采用，业务增长方面的潜力其实是指数级的，而不仅仅是累积性的。今天没有行动起来的企业不仅在2017年受影响，还会大大限制其在2018年及以后的增长潜力，因为洞察力、响应速度和效率同提升后带来的回报越来越高。”

　　7.企业仍然找不到拥有大数据技能的专业人员。

　　连续三年，找到拥有相应大数据技能的员工一直是AtScale的调查对象提到的头号挑战。现在许多不同的企业都开设数据科学和大数据方面的课程，还是无法足够快地培训新员工以跟上需求。因而，大数据岗位的薪水空前高涨。

　　一段时间以来，缺乏合格的专业人员似乎促使企业选择拥有自助服务功能的大数据解决方案，以便其他业务人员使用分析工具。然而，虽然自助服务大数据的占比在2017年攀升至47%，但2018年实际下降至41%。

　　8.数据治理在成为大问题。

　　目前大家都关注的另一个大数据问题是治理，这是2018年的第二大常见问题。形势显然发生了重大转变，因为早在2016年，治理是排名第五的常见问题，即使在2017年，也排名第三。管理和安全在2016年分别是排名第二和第三的常见问题，2018年跌至第五和第四。

　　人们越来越关注治理，一方面原因可能是Facebook及其他公司经常爆出用户隐私丑闻，以及政府监管越来越严。另一方面欧盟的《通用数据保护条例》(GDPR)于下个月生效，许多企业在竞相确保符合法规。

　　9.只有19%的企业使用大数据系统取代数据仓库。

　　尽管许多企业欣然接受大数据分析，但它们不一定摈弃传统的数据仓库及其他技术。实际上，许多企业在开发混合架构，这种架构包括内部数据仓库、基于Hadoop及相关技术而建立的数据湖以及基于云的大数据服务。在AtScale调查中，只有19%的调查对象表示计划用新的大数据工具完全取代旧的数据解决方案。42%的调查对象表示，新的大数据工具在补充原有的解决方案;39%表示在取代一些工具，并在补充其他工具。

　　10. 66%的企业认为，大数据是战略性或改变游戏规则的。

　　被问及大数据在企业中扮演的角色时，约三分之二(66%)的调查对象表示他们认为大数据是“战略性”或“改变游戏规则的”。只有17%表示大数据在其公司仍然是“实验性”的，另有17%称大数据项目是“战术性”的。

　　大数据方面的这种观点清楚地表明，大数据是不会很快消失的一个趋势。Gartner副总裁兼杰出分析师Ted Friedman认为，随着更多的企业开始将大数据视为战略性，会出现这三大预测：

　　“数据和分析将推动现代业务运营，而不是仅仅体现其表现。”

　　“企业对于数据和分析将采取全面的方法。企业将构建端到端架构，以便从企业核心到企业边缘都实行数据管理和分析。”

　　“高管们将把数据和分析纳入业务战略中，这让数据和分析专业人员得以扮演新角色，推动业务增长。”