日前发布的《2017~2022年中国大数据产业发展前景与投资战略规划分析报告》显示,中国大数据产业市场在未来五年内,仍将保持着高速增长。预计2016年年末,市场规模将达到2485亿元,而随着各项政策的配套落实及推进,到2020年,中国大数据产业规模或达13626亿元的高点。
前瞻产业研究院认为,通过大数据技术使人们可以利用以前不能有效利用的多种数据类型,抓住被忽略的机遇,使企业机构变得更加智能和高效。大数据的重心将从数据的存储和传输过渡到数据的挖掘与应用,这将深刻地影响企业的商业模式,既可直接为企业带来利润,也可通过正反馈为企业带来难以复制的竞争优势。据麦肯锡测算,大数据的应用每年潜在可为美国医疗健康业和欧洲政府分别节省3000亿美元和1000亿欧元,利用个人位置信息潜在可创造出6000亿美元的消费者剩余。因此大数据应用有远超万亿美元的市场。
大数据产业链参与者众多,覆盖面广。按照产品形态,主要分为硬件、基础软件和应用软件三大领域。综合各领域国内外竞争态势,商业智能、信息安全和云计算将是数据挖掘和应用环节国内相对受益的三驾马车。其中国内智能市场已步入成长期,“十三五”期间潜在空间将超过300亿元;信息安全“十三五”期间潜在空间将超过4000亿元;云计算刚进入成长期。
大数据在带来机遇的同时,也在人才、技术、信息安全、国家战略决策等方面带来了较大的挑战。
据IDC测算,到2020年,全球需要管理的数据量将达到35ZB,相较于2011年将增长50倍,而同期IT从业人员将仅增加1.5倍,意味着人均管理数据量将膨胀近33倍。虽然目前看来,人力资源的配给与现有的数据库管理技术基本是匹配的,但是未来,如果人类管理数据的效率不能保持同步提升,在大数据时代将无法对数据进行有效管理。
传统数据库的管理能力无法应付大数据体量的数据。人们和机器制造的越来越多的业务数据对IT系统带来了更大的挑战,数据的存储和安全以及在未来访问和使用这些数据已成为难点。目前成熟的经典数据库技术——结构化数据查询语言SQL,在设计的一开始是没有考虑非结构化数据的,也就是说以前计算机人员讨论数据的时候,数据的范围限定在结构化数据范畴以内。随着数据类别的扩大,目前的大数据已经囊括了半结构化和非结构化数据,这已超出目前常规数据软件工具所能承受的极限。