大数据和分析技术,已经成为当今企业的IT建设中优先的发展方向。在2016年,数据和分析又将有怎样的发展呢呢?今天我们来品一品海外专家关于数据和分析应用趋势的新预测。
随着云、移动技术和社交技术的应用,数据分析和其它数据相关的技术已经成为数字化时代的企业核心增长点。2015年我们看到了大数据应用的广泛推广,从测试到产品再到推动企业核心业务。新年初始,海外5位IT专家对数据和分析将会出现的新趋势做出了预测,今日我们先来看一下三位数据和技术专家的观点,明日将呈现令两位IT业内人士的预测。
1.斯考特.格瑙,Hortonworks,CTO
Hortonworks是全球领先的Hadoop供应商,该公司CTO格瑙对于2016数据应用趋势的预测是:
超越IoT的InternetofAnything:2016年,企业将进一步从数据中挖掘价值。格瑙说:“如今已不仅仅是物联网,而是互联网的任何东西都可以提供见解和价值。所有来自服务器日志、地理位置和互联网的数据,其价值已经超出了设备、传感器和机器所提供的价值。”
关注终端的数据管理:格瑙指出,如今数据流来自许多设备,比如传感器和服务器。而企业必须超脱于数据中心而着重于管理这些终端的数据,例如来自石油钻井平台或空间卫星的数据。在2016年,企业需要新的思维和新的数据管理系统,从数据中心到终端,在整个企业的生态系统内建立更完整、更安全的数据来源。
高速流转的数据:2016年整个IT行业将看到数据向高速流转的演变。格瑙说:“这就需要一个更高级的平台来处理更多设备协议,把所有的数据流都带入Hadoop,因此这个平台需要能够承载多种语言的通信。2016年,将是运转数据和静止数据结合的大好机会。”
更简单的大数据:如今,希望简化大数据的市场已经形成,无论是从技术还是消费等层面上。格瑙表示,2016数据技术的简化倾向会更加明显。“无论集群操作员、安全管理员、数据分析员,每个人都希望和Hadoop相关的大数据技术变得简单,”格瑙说,“未来单一集成开发的经验,和减少设置或配置数量的开发流程将更加流行。”
承载关键工作的Hadoop:格瑙预测,2016年Hadoop将用于提供更多的企业关键任务的工作负载,而不仅仅是公司的网络范围。“像Yahoo,Spotify和trueCar这样的大型公司都努力的在Hadoop基础上建立业务。我们将看到更多的传统企业,从数据管理下的大量提取有价值的见解,交付于支持企业关键业务的分析应用,”格瑙说。
2.迪帕克.库玛,Adaptiva,CTO
Adaptiva是美国一家IT系统管理解决方案提供商,该公司创始人兼CTO库玛预测:
这一年数据将受到限制:“数据的使用将变得更加规范,因为供应商将无法跟上数据的需求,而企业也将无法跟上不断增长的成本,”库玛说。因此,公司将开始利用技术监测数据。
大数据分析的系统管理将变得智能:大数据分析解决方案的整合将进一步加快,智能化的数字系统将依靠数据分析,提供更多的商业见解。
3.巴德里.拉加,首席数据科学家,FirstFuelSoftware
FirstFuelSoftware是一家从事于企业能源分析软件的公司,该公司首席数据专家预测:
数据的大众化:拉加表示,由于诸如“AmazonMechanicalTurk”等工具的出现,企业和个人将能够更容易地收集来自世界各的、以前没有获得的数据。不仅数据更容易找到,无数用户友好的工具的出现,将使人们无需广泛的数据知识来分析信息,就可以确保有意义的价值。
数据隐私关注的增加:欧洲最近制定了严格的数据使用规范,这意味着企业将需要制定关于如何解决数据安全问题的战略。拉加说:“数据隐私不再是事后的考虑项目,人们需要主动解释他们是如何将使用数据,确保与当地和全球的法律法规。”
数据洞察的新应用:拉加指出,2016年,各个行业的企业和个人将进一步挖掘和分析数据,提供个性化和引人入胜的体验,包括能源、体育、社会公益和音乐等行业。例如,按照个人喜好,通过加入大量的鼓声和节奏来改编歌曲。
4.丹.高根,产品营销总监,tableauSoftware
tableauSoftware是美国一家大型的智能商务、云、虚拟化软件交付商,该公司产品销售总监对于2016大数据的发展空间做出如下预测:
NoSQL的兴起:高根表示,由于无模式数据库的概念在巨头企业中的良好应用效果,在2016年我们将看到更多企业转向NoSQL数据库的应用。高根说:“在Gartner著名的‘魔力象限’中,最显眼已经不再是Oracle、IBM,微软和SAP这些,而变成了可动态数据库管理系统。我们看到更多的NoSQL公司,例如MongoDB,DataStax等。”
ApacheSpark点燃大数据应用:如今ApacheSpark工具已经从开始的Hadoop生态系统的组件,转变成为许多企业选择的大数据平台。“同Hadoop相比,Spark提供了更加快速的数据处理速率,并成为了目前最大的大数据开源项目,”高根说,“我们如今看到越来越多的有竞争力的企业使用Spark,例如高盛公司,Spark工具已经成为企业数据分析的‘通用语言’。”
高速增长的大数据:Hadoop增加了企业的数据应用标准,高根指出2016年企业对Hadoop工具的使用会更加成熟。“由于Hadoop成为企业IT建设核心部分的趋势持续加强,未来我们会看到更多的投资面向企业IT系统的核心建设之外,比如说安全,”高根说,“Apache的‘ApacheSentry’开创了一个加强了细粒度的、基于角色授权的系统,针对存储在Hadoop集群中的数据和元数据。而这些都是客户希望从企业级的关系数据库管理系统(RDBMS)平台所获得的能力,也成为了大数据技术的前沿能力。因此,企业对于hadoop的使用也更加坚定。”
Hadoop的使用更广泛,大数据获取更快:高根表示,2016年hadoop工具在传统的企业数据库中的应用会更加频繁。“Hadoop给企业带来了更大的牵引力,我们看到了不断增长的终端客户需求,即他们所期待的对传统数据仓库数据的快速开发能力,”高根说,“为了满足终端用户的需求,我们看到越来越多的技术被采用,例如ClouderaImpala和AtScale。从而实现在hadoop平台建数据仓库,分析数据导入RDB,并作为olAP工具数据源,生成CUBE。”
“准备”挖掘所有形式数据的终端用户数量不断增长:如今自助式数据准备工具的使用十分流行,高根表示,部分的原因是由于挖掘企业与客户之间生成数据的工具分析数据的时间大大减少,例如tableau。“企业用户现在也希望能够减少用于分析的数据的准备时间和复杂度,尤其是在处理各种数据类型和格式时,”高根说,“许多公司诸如Alteryx,trifacta已经开始关注于大数据的终端用户数据准备,并投入大量投资进行了一系列技术创新实践。”
MPP数据仓库在云中的应用正在升温:高根说,“死亡”的数据仓库已经被炒作了一段时间了,在这一市场的增长放缓已经不是什么秘密。“但在亚马逊研发的按需云数据仓库工具Redshift引领下,我们现在看到这项技术应用到云的一个重大转变,”Redshift如今是亚马逊增长最快的业务,但也受到了谷歌的BigQuery的挑战。分析人士认为,那些已经采用Hadoop的企业90%会保持他们的数据仓库,也会启用相关的云服务。这些客户可以动态的向上或向下扩展的存储量,以及计算数据仓库中那些与Hadoop数据湖的存储信息相关的资源。
新潮技术的结合:把物联网、云计算和大数据结合在一起,该技术还处于初级阶段,但是物联网中的数据将会成为云应用的一个“杀手锏”和PB级数据应用爆发的驱动。“基于这个原因,我们看到云和数据公司,如谷歌,亚马逊网络服务和微软等,他们的物联网服务的数据可以无缝地移动到他们的云为基础的分析引擎,”高根说。
5.丹.格雷厄姆,企业系统总监,Teradata
Teradata是美国大型的数据仓库软件和数据分析软件供应商,公司企业系统总监格雷厄姆预测:
企业会重置Hadoop应用:格雷厄姆认为,2016会看到企业用过去IT部署的经验重新设计他们的方法。“由于Hadoop和其相关的开源技术被炒作为即将消退,而其使用也超越了知识聚集的层面,企业将根据以前的部署教训重新开始设置Hadoop的使用,特别是在管理、数据集成、安全性和适用性等方面,”格雷厄姆说。
算法将开始摆在董事会桌上:“无数的算法持续给数据使用升温,企业也需要开始为未来的数据接收和分析能力做储备,”格雷厄姆说,“因此,CEO们和投资者将开始将深入分析作为核心业务目标。”
数据湖最终会发现“杀手锏”:格雷厄姆表示,在容量和成本的驱动下,数据湖将成为企业最常见的存储物联网原始数据的存储库。格雷厄姆说:“在未来,IoT的M2M数据的数量级会超越内存容量,驱动企业实施数据湖技术来达到低成本存储的目的。”
IoT数据价值衰退的速度极快:“在缺乏数据管控的区域,传感器的数据价值正以每小时、每天和每周的速率下降,等到新收集到的相同的传感器数据替代老旧的数据时,又循环重复着这个过程,”格雷厄姆说,“更多的架构和系统将被迫来补偿这种价值衰退,以应付成本的保留和处理问题。”
观点
数据的存储、处理和分析是数字化时代企业改革的核心战略,如何挖掘数据的价值,也成为了大数据和分析技术深入应用的新课题。在近期e行网对CIO们的采访中,我们可以看到数据和分析技术已经可以成为物流贸易企业吸引客户的“法宝”,成为地产业联通外部工程、内部运营的“桥梁”,而数据价值的挖掘也是IT部门向业务开始变形的一个缩影。2016年,大数据应用将继续爆炸,CIO们做好准备了吗?