以“促进工业界和学术界的对话”为主题的BenchCouncil国际大数据与人工智能线上峰会13日拉开帷幕。来自阿里巴巴、Facebook、中科曙光等企业及教育、金融、科学等领域的逾百位大数据与AI专家参会。
随着大数据战略上升为国家意志,物联网、云计算等技术的发展,数据资产已经成为了核心资源,数据被誉为“未来的新石油”。中国作为数据生产大国,核心资源优势明显,为大数据应用奠定了基础。
目前我国大数据产业发展已步入行业规模快速增长时期,随着“新基建”越来越受重视,大数据产业也将迎来发展新机遇。
据赛迪顾问统计,2018年中国大数据整体规模为4384.5亿元,未来有望保持20%以上增速,到2021年达到8070.6亿元。
区域上,华北、中南和华东持续领跑,合计约占整体市场的74%,以成都、贵阳为代表的西南跟随其后,并显著领先于东北和西北地区。其中政府部门有望成为最大需求方,政府大数据应用市场规模将达到1,907.5亿元,占比35%。
参考IDC发布的《全球半年度大数据支出指南》,预计2019年度,大数据与商业分析解决方案全球市场的整体收益将达到1896.6亿美元,且未来仍将保持13.1%的年复合增速,到2023年形成3126.7亿美元规模。
英特尔预测,到2020年全球数据量将会达到44ZB,这一数据量是2011年的24倍,这意味着过去几年中全球数据以每年43%的速度快速增长。
大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征,大数据包括结构化、半结构化和非结构化数据,非结构化数据越来越成为数据的主要部分。
根据IDC报告显示,企业中80%的数据都是非结构化数据,这些数据每年都保持60%的增速增长。
大数据的特色在于对海量数据进行分布式数据挖掘,所以必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术等,大数据也为云计算提供了具有价值的用武之地。
对于大数据,Gartner给出的定义是需要运用新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
2012年,《“十二五”国家战略性新兴产业发展规划》明确提出支持海量数据存储、处理技术的研发和产业化,2014年“大数据”首次出现在《政府工作报告》中,奠定了行业快速发展的政策基础。
以BAT为代表的互联网巨头、以华为、联想、浪潮为代表的传统IT厂商、以及专注于大数据的新兴初创公司均有相应大数据产品发布,在较多行业中已迭代出较为成熟的解决方案。
按照大数据价值实现流程,大数据产业链可以划分为数据源、基础设施底层平台、大数据处理技术、大数据应用以及数据安全5部分。产业链条上,不同的大数据企业拥有不同的商业模式。
数据源是大数据产业的发展基础,核心所在。由于中国大数据流通还未形成规模,目前主要的数据资源主要集中在政府部门、互联网巨头、三大运营商等手中。
具体包括:各大政府机关、BAT、行业数据源提供商、企业数据源提供商、物联网数据源提供商、移动联通电信三大数据源提供商以及第三方数据服务企业等。
基础设施是大数据产业不可或缺的硬件部分,为大数据变现搭建底层基础平台。大数据硬件涵盖了数据产生、传输、存储、计算等一系列与大数据产业链相关的硬件设备。
具体包括数据中心、IDC机房、各种有线/无线传输设备、数据采集设备、存储设备、服务器、网络设备等。
数据存储是产业链的支撑,参与者以传统数据库企业为主,国际上有IBM、Oracle、Intel、Green-plum等;国内主要有华为、中兴、同有、浪潮、中科曙光等,各家企业针对大数据应用的具体领域开展数据库架构和数据组织管理研究,形成各自的优势产品。
大数据可视化技术是指利用图形、图像处理、计算机视觉以及用户界面,通过表达、建模以及对立体、表面、属性以及动画的显示,对数据加以可视化解释,涉及到计算机图形学、图像处理、计算机视觉、计算机辅助涉及等多个领域,是研究数据表示、数据处理、决策分析等一系列问题的综合技术。
大数据安全主要是指大数据场景下围绕数据安全展开的大数据全生命周期的安全防护,包括大数据平台安全、大数据安全防护和大数据隐私保护等,具体涉及大数据系统安全、大数据资源发现、大数据管理运营、敏感数据梳理、大数据脱敏、应用数据审计、大数据审计等多个细分领域。该环节主要参与方包括赛门铁克、360、启明星辰、绿盟科技、美亚柏科等。
产业链最核心的当属数据分析与挖掘,其能力直接决定着大数据应用的推广程度和范围。
数据分析一是从大量的结构化、半结构化、非结构化数据中分析出计算机可以理解的语义信息或知识,二是对隐性的知识,如关联情况、意图等进行挖掘。
数据分析能力体现在人工智能算法应用,及构建中台的数据分析/中台能力是产业链承上启下的环节,技术能力本身即其竞争力的体现。
数据应用即在垂直行业的具体应用及对工具类的应用。工具类应用一般以SaaS或开发者服务形式出现,进一步赋能垂直行业,营销是数据应用最重要的场景之一,也是数据产业变现主要的途径。
工具及应用离不开场景,对大数据分析结果进行应用是完成产业商业化目标,实现价值的终点。经过近几年的发展,大数据应用已渗透政府、电信、金融、人力资源、医疗、物流、等多个行业。
金融行业方面,大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用;电商行业在大数据应用方面经验丰富,比较充分的有用户画像、精准投放、数据可视化和智能推荐等;物流行业,利用大数据优化物流网络,提高物流效率,降低物流成本;电商行业在大数据应用方面经验丰富,比较充分的有用户画像、精准投放、数据可视化和智能推荐等;大数据还将驱动未来汽车无人驾驶进一步提升。
产业链代表厂商方面:四维图新拥有位置领域入口资源,中科曙光布局芯片及AI服务器,易华录是基于蓝光技术搭建数据湖的厂商,海康威视掌握了视频数据分析能力,美亚柏科是应用领域的智慧公安解决方案商、创业慧康是智慧医疗解决方案商。
总体来看,大数据产业链上数据是源泉、存储是支撑、安全是保证、分析是核心、应用是价值实现。
大数据并不仅是海量数据,而是大量数据通过挖掘、清洗、加工后形成数据资产的能力。拥有独特数据源,通过外部采购丰富数据维度,并有能力将海量数据变为高质量的数据资产是竞争力的核心。
马云卸任时候的演讲中提到:“很多人还没搞清楚什么是PC互联网,移动互联网来了,我们还没搞清楚移动互联的时候,大数据时代又来了。”大数据应用进入高速发展期,未来新商业模式的出现有望带动更大发展。
受益于人工智能、5G和物联网引领的新一轮信息技术革命,数据中心快速增长进而推动存储产业链需求大幅增加。全球和中国数据存储需求快速增长的背后,必然伴随着产业链的繁荣。