2016年大数据领域预测：Spark淘汰MapReduce，拯救Hadoop

　　2016 年大数据领域会发生什么情况？考虑到如今在深层神经网络和规范性分析方面取得的进展，你可能觉得这个问题很好回答。而实际上，来自业界的大数据预测大不相同，本文精选出了最值得关注的 33 个预测，为您开启未知的 2016！

　　数据平民崛起

　　甲骨文公司预测一种新型用户：数据平民（Data Civilian）会崛起。该公司称：“虽然复杂的数据统计可能仍局限于数据科学家，但数据驱动的决策不会是这样。在未来一年，更简单的大数据发现工具让业务分析员可以寻找企业 Hadoop 集群中的数据集，将它们重新做成新的混搭组合，甚至运用探索性机器学习方法来分析它们。

　　“大数据”会消亡

　　Nucleus Research 公司公开发表了不同意见，预测我们所知道的大数据会消亡。该公司称：“在过去两年，每家公司及其人员似乎都推出了某种形式的大数据解决方案。是该告别新奇事物综合症（shiny object syndrome）的时候了。用户会像对待任何数据那样对待和访问大数据，而不是着手解决大数据分析这一项庞大又艰巨的任务。

　　风险投资公司更关注大数据给出的结论

　　据 Opera Solutions 公司的高级副总裁 Keri Smith 声称，由于风险投资公司往数据初创公司纷纷投入资金，是时候开始提出尖锐的问题了。Smith 问道：“大数据解决方案真正的投资回报率（ROI）如何？公司如何才能跨过部门级部署这个阶段，让大数据在整个企业创造的价值实现最大化？又有哪些有意义的使用场合适用于众多垂直领域？要是贵公司现在没有提出这类问题、积极寻求答案，应该很快就会。

　　机器学习和人的洞察力组合渗透新行业

　　Spare5 公司的首席执行官 Matt Bencke 表示，我们在 2016 年会看到数据绝地武士（Data Jedis）的兴起。他写道：“将来被人工智能改变的工作会比以往任何时候都要多，‘数据绝地武士’会变成最抢手的员工。机器学习和人的洞察力这对组合会渗透到新行业，包括医疗保健和安全行业，员工需要灵活适应以提供不同服务，不然就会落在后面。

　　数据科学在银行界大放光彩

　　数据科学咨询公司 Profusion 的首席执行官 Mike Weston 预测，数据科学在银行界会大放光彩。他写道：“金融业是率先采用数据科学技术/方法的行业之一。不过，所有银行服务公司采用数据科学的步调远远没有统一。2016 年，我预计这种局面会有所改变。更好地利用数据和服务个性化会从金融市场进入到零售银行领域。这会给市场营销、客户服务和产品开发带来深远影响。”

　　人工智能和认知计算让个性化医疗成为现实

　　先进的人工智能引起机器人成为统治者，这种场景吓坏了 Elon Musk。不过据 Franz 公司的认知科学家兼首席执行官 Jans Aasman 声称，应该将人工智能归为“友好的技术”这一列。他说：“2016 年及以后，人工智能和认知计算将使个性化医疗成为现实，帮助拯救患有罕见疾病的病人，并改善整体的医疗保健状况。”

　　首席数据官将成为信息技术领域的“新宠儿”

　　Blazent 公司首席技术官办公室负责人 Michael Ludwig 认为，首席数据官（CDO）会成为信息技术领域的“新宠儿”，永远让办公室政治更显错综复杂。他写道：“正是由于大数据很复杂，又需要完整而准确的数据，首席数据官会变得越来越重要。因而，首席技术官和首席信息官需要给首席数据官让出地方，除非确立了明确界定的角色，并成立了相关团队，否则高层管理团队当中会出现紧张局势。”

　　首席洞察官成为大数据整理过程的关键领导者

　　但不是每个人都这么认为，其中包括 PROS 公司的首席远见官 Craig Zawada。“2016 年，我们会开始看到被任命的首席数据官日渐式微，这是过去的一种角色。相反，2016 年会出现首席洞察官，这类人将成为大数据整理过程中的关键领导者。”

　　云服务被充分利用

　　但是颇有势力的 CIO 能重新发号施令吗？Cazena 公司创始人兼首席执行官 Prat Moghe 预测会这样。他写道：“2016 年，CIO 们会充分利用企业就绪的云服务，作为中间人提供这样的云服务，既满足 IT 部门在治理、合规和安全等方面的要求，又满足业务部门在敏捷性和响应能力等方面的要求。”

　　流分析逐渐成熟

　　DataTorrent 公司的首席执行官兼联合创始人 Phu Hoang 预测，流分析（streaming analytics）会开始成熟起来，并在大数据阵营中证明其价值。他说：“虽然许多公司已经认可了实时流非常重要这一点，但我们会看到用户希望更进一步，确定流分析使用场合。在接下来一年，使用流分析工具的客户会变得更加成熟，要求流分析有明确的投资回报率。”

　　实时分析异常火爆

　　实时分析在明年会很火爆，这个我们懂。不过据 MongoDB 公司的战略和产品营销副总裁 Kelly Stirman 声称，一项技术：Apache Kafka 比其余技术更惹人注目。Stirman 写道：“Kafka 将成为企业数据基础设施的一个重要集成点，为构建智能分布式系统提供便利。Kafka 及其他流分析系统（比如 Spark 和 Storm）会补充数据库，成为跨应用程序和数据中心管理数据的整个企业堆栈的关键部分。”

　　大数据让娱乐更加“娱乐”

　　喜欢鼓乐？FirstFuel Software 公司的首席数据科学家 Badril Raghavan 表示，那么你一定会爱上 2016 年。“在今后几个月，我们会看到企业和个人利用数据和分析工具，面对包括能源、体育、社会公益和音乐在内的众多行业，提供个性化、引人入胜的体验。比如说，人们将来可以利用数据，根据个人喜好（例如偏爱鼓乐）改编歌曲。”

　　物联网影响半导体行业

　　物联网会如何影响半导体行业？IT 传奇人物 Ray Zinn 对此有几点看法。他写道：“你会看到设计和制造出现更明显的分工。晶圆厂的使命就是扩大规模，服务于几十亿消费者和新兴的物联网市场。设计将会与制造脱离开来，分担市场风险。创新将是设计公司的生存之道，而不断提高效率才是晶圆厂的致胜秘诀。问题是，接下来会出现什么？到时难免会出现新的市场和设备，从而推动行业呈现新的井喷式增长。物联网好比是沉睡的巨人，不过我觉得它只是在打盹而已。”

　　机器学习、大数据自动化和人工智能大放异彩

　　Infosys 公司高级副总裁兼平台、大数据和分析部门主管 Abdul Razack 表示，机器学习、大数据自动化和人工智能在 2015 年大出风头，明年会出更大的风头。Razack 说：“2016 年，企业更广泛地采用人工智能技术替代人工重复性任务的步伐会快速加快。”他提到，丰田公司最近往人工智能方面投入了 10 亿美元。大数据自动化已经在发展，不过明年“会得到更广泛的应用，人的独特能力（即拿来复杂问题后给出创造性的解决办法）显得更重要。”特斯拉的无人驾驶汽车内置了机器学习技术，但明年，“机器学习会悄悄进入到千家万户，让我们身边的物件不仅仅是联网而已。”

　　合并兴起的关键年

　　许多人预计 2016 年大数据领域会出现激动人心的事情。Logi Analytics 公司的解决方案工程和服务副总裁 Charles Caldwell 却不这么认为。“如果我展望 2016 年，并不觉得会出现许多激动人心的事情。其他厂商已给出了云计算、视觉分析和移动等方面的预测，但是那些大多是安定下来的旧趋势。在我看来，2016 年会是合并兴起和为下一大热门打基础的一年。”

　　副本数据管理（CDM）迎来春天

　　“最想象不到奖”授予 Catalogic Software 公司的产品营销高级经理 Peter Eicher。我们倒不是指他的这一预测：副本数据管理（CDM）“是迎来大好时期的技术――不仅这个领域出现新厂商，老派厂商也在跟风，这就是最好的佐证。”这完全合情合理。不，我们之所以提名 Peter 是因为他的这一疯狂预测：纽约尼克斯队会夺得 NBA 总冠军。他承认：“是的，结果不是。我不可能一直预测正确。不过话又说回来，这个预测已连续错了 42 年。”

　　大数据泄密事件频发

　　大数据领域的“沮丧的黛比”（ Debbie Downer）奖授予 BlueTalon 公司的首席执行官 Eric Tilenius，因为他预测，大企业爆出大数据泄密事件的步伐可能会加快。他写道：“2016 年，缺乏统一的数据治理，可能会导致企业界迄今面临的最大的安全方面冲击――这相当于移动技术的问世给传统企业边界带来的冲击。依赖支离破碎的方法来控制数据访问，即面对不断变化的数据格局采用不一致的政策，只会在企业数据保护方面留下大洞。”

　　微服务架构有所突破

　　你在搞微服务吗？据 SaaS 厂商 Workday 声称，如果你现在没搞，很快会搞。该公司声称：“很显然，内部部署与云之争已结束，云赢了。不过，并非构建的所有云架构都一个样。微服务架构会突破 Netflix 等消费者互联网设计领域，成为自向云转变以来企业应用软件领域最重大的架构进步。”

　　大数据分析扩大领域

　　TARGIT 公司首席技术官 Ulrik Pederson 表示，大数据有难度，许多公司在明年会竭力搞好大数据。他写道：“2016 年大数据分析会扩大领域，一些工具让企业用户有可能在需要时对大数据执行全面的自助式探索，不需要 IT 部门的大力指导。对应于我的第一个预测，我预计先进分析项目在众多行业会大幅增加。然而，这并不意味着它们会成功……要是听到许多厂商和客???在成功实施项目上遇到困难，我也不会觉得惊讶。”

　　认知技术、数据科学会有进展

　　国际数据分析研究所（International Institute of Analytics）预测便于嵌入式分析的分析微服务会大行其道。这家独立研究和咨询公司还预测，认知技术、数据科学和数据精选等领域会取得进展。哦，该组织表示，由于许多大学开设新课程，分析人才危机有望得到缓解。

　　非数据专业人才也会投身大数据

　　OLAP-on-Hadoop 提供商 AtScale 公司的首席营销官 Bruno Aziza 表示，不是数据专业人才的那些人也会积极投身于大数据。他写道：“随着 Hadoop 变得更容易被非数据专业人才访问，营销人员会开始访问更多的数据，以便做出更合理的决策。可以借助 Hadoop 更深入更全面地了解数据，这让营销人员能够洞察消费行为、从而做出决策，并了解客户消费旅程背后的流程。”

　　高性能计算渐成主流

　　存储巨头 DDN 预测，我们会看到更多的高性能计算技术进入到主流，特别是由于它涉及存储。该公司表示：“2016 年，来自高性能计算行业的存储、数据管理和应用程序加速等技术会继续以更快的速度被利用起来，以满足企业对性能和规模越来越高的要求，因而会以更快的速度取代传统的 IT 基础设施。”

　　开源大数据遍地开花

　　开源大数据技术给你留下了深刻印象？Pentaho 公司的首席执行官 Quentin Gallivan 表示，你还没有看到任何实际东西。Gallivan 写道：“像 Spark、Docker、Kafka 和 Solr 这些很酷的新工具会遍地开花，这些新兴的开源工具旨在能够对 PB 级数据进行大规模大批量的分析，它们会从‘青春期’阶段进入到‘壮年期’阶段。”

　　Spark 淘汰 MapReduce，拯救 Hadoop

　　RDBMS-on-Hadoop 厂商 Splice Machine 公司的联合创始人兼首席执行官 Monte Zweben 表示，Spark 会淘汰 MapReduce，但是会拯救 Hadoop。他写道：“MapReduce 相当深奥。具有速度慢、批处理的特性，又加上非常复杂，因而对许多企业来说毫无吸引力。由于速度快，Spark 要自然得多，对程序员来说很方便。Spark 会给 Hadoop 注入活力；2016 年，基于 Hadoop 的项目十之八九会是与 Spark 有关的项目。”

　　云厂商发布自己的 Spark 平台即服务解决方案

　　Snowflake Computing 公司的首席执行官 Bob Muglia 表示，但是这并不意味着每个 Spark 项目会涉及 Hadoop。“如今，Spark 是 Hadoop 发行版的一部分，与 Hadoop 有着广泛的联系。随着 Spark 独自行动，建立一个独立的、有活力的生态系统，预计这种情况在 2016 年会发生变化。实际上，可以预计各大云计算厂商会发布各自的 Spark 平台即服务（PaaS）解决方案。我们会看到 Elastic Spark 吗？可能性很大。”

　　Apache Hadoop 将被重置，并非丢弃

　　Teradata 公司的企业系统总经理 Dan Graham 表示，企业组织会对 Apache Hadoop 进行重置处理。“随着 Hadoop 及相关开源技术跨过收集知识的早期阶段、炒作渐渐消退，企业会对部署的 Hadoop 按重置键、而不是丢弃，运用汲取的经验教训，尤其是治理、数据集成、安全和可靠性方面的经验教训。”

　　主数据管理（MDM）派上用场

　　杂物抽屉问题是 Hadoop 社区面临的最大挑战之一。但根本不用害怕――主数据管理（MDM）派得上用场！Reltio 公司的首席执行官兼创始人 Manish Sood 写道：“MDM 会变得无处不在。长期以来，MDM 这门技术只有大公司才用得起，大公司拥有庞大的 IT 团队，又有硬件、软件和为期多年的实施项目所需的庞大预算。新一批数据驱动的应用程序会内置 MDM 作为基本要求。由于同时提供操作功能和分析功能，每个应用程序可靠的数据基础由 MDM 引擎来支撑。”

　　Hadoop 将处于十字路口

　　2016 年，Hadoop 将处于十字路口，它会往哪个方向走？Altiscale 公司的首席运营官 Mike Maciag 给出了他的预测。“2016 年，我们会看到 Hadoop 行业标准得到巩固。2015 年年初，我们看到开放数据平台计划（ODPi）正式启动，该计划制定了标准，为大数据生态系统的关键项目如何协同运行指明了方向。由于标准化给客户带来的好处变得更加显而易见，ODPi 的成员数量在这一年翻番。我们预计，2016 年 Hadoop 会得到更大的发展和认可，让新的技术和应用程序得以满足由 ODPi 制定的 Hadoop 生态系统标准。”

　　物联网 2.0 出现

　　Zebra Technologies 公司预测，我们会看到物联网 2.0 出现。“物联网市场会由过去的闭源、专有的第一代解决方案，变成更成熟、基于行业标准、可灵活适应的解决方案。借助开源方法，企业组织能够从数量更多的服务提供商及其各自的 API 当中作一个选择。”

　　后稀缺经济（post-scarcity economy）日渐兴起

　　OpenText 公司首席执行官 Mark Barrenechea 预测，物联网可能预示着后稀缺经济（post-scarcity economy）日渐兴起。他写道：“可以将算法想象成这种应用程序，对物联网及我们生活中方方面面的数十亿个互联设备生成的彼此关联的海量信息进行大数据分析。拥有数据、分析数据、改进和创新成为企业成功的关键――这一切得益于互联数字化社会。”

　　生产工作负载与分析技术充分结合

　　MapR Technologies 公司的首席执行官 John Schroeder 预测，能够同时处理分析型工作负载和事务型工作负载的融合平台会迎来巨大飞跃。“2016 年，由于各大领先公司获得将生产工作负载与分析技术结合起来，迅速调整，以适应客户偏好、竞争压力和商业环境所带来的好处，我们会看到融合方法成为主流方法。这种融合加快了企业组织“从数据到行动”的周期，并缩短了数据分析到业务影响之间的时间差。”

　　小众解决方案吃香

　　看好 2016 年会出现单一架构的另一个支持者是 Datameer 公司的首席执行官 Stefan Groschupf。他写道：“某个技术类别是新类别时，会出现众多公司，各自的产品旨在为这个领域的一小部分提供解决方案。这样一来，客户只好购买多个工具，试图弄清楚如何结合使用这些工具。最后，这种方法根本行不通，客户倾向于单一厂商提供的集成产品架构――或者覆盖范围广泛的产品。2016 年将标志着大数据产品开始出现这种转型。”

　　外包大行其道

　　大数据服务提供商 Absolutdata 公司的首席执行官 Anil Kaul 预测，外包在 2016 年会大行其道。他写道：“我们可以从大数据获得众多有价值的信息，可是访问这些信息颇具挑战性，而且通常不在平常商业智能的范围之内。如今许多公司在与第三方合作，制定并执行大数据分析策略。将外部专家整合到大数据团队当中，也许是公司在这个迅速变化的领域保持领先一步的最佳途径。”