大数据行业研究报告

　　一、行业基本情况

　　大数据产业是以数据为核心资源，将产生的数据通过采集、存储、处理、分析并应用和展示，最终实现数据的价值。整个大数据产业分为大数据技术、大数据服务和大数据应用。

　　大数据采集与存储围绕数据如何获取，获取后的数据如何存储，数据如何挖掘处理为重点，对应的是数据采集-数据存储；大数据分析与服务围绕的是获得的数据如何加工分析，加工好的数据如何实现交易流通，对应的是数据加工分析-数据可视化-数据交易-数据安全；大数据应用主要是大数据加速向传统产业渗透，驱动生产方式和管理模式变革，推动制造业向网络化、数字化和智能化方向发展。电信、金融、交通等行业利用已积累的丰富数据资源，积极探索客户细分、风险防控、信用评价等应用，加快服务优化、业务创新和产业升级步伐。

大数据生态链

　　当前，数据中心已成为企业或机构管理IT基础设施与应用，提供基础设施与应用服务的重要平台。随着更加先进的技术的融合发展，建设新一代数据中心成为企业普遍关心的热点话题，它不仅代表着IT产业发展的潮流，也反映了不同IT用户最迫切的核心需求。从全球IDC发展历程来看，IDC服务市场经历了三大阶段，即计算中心阶段、信息中心阶段和服务中心阶段。

　　第一阶段主要提供的主机托管业务；第二阶段上升到信息业务，包括数据存储管理、安全管理、网络互连等，成为企业IT基础建设的核心；第三阶段在2005年以后，随着互联网业务爆发式的发展，基于传统服务器、数据库架构无法应对业务发展的需求。云计算技术的引入开启了IDC的IaaS时代，它将整个IDC数千台服务器进行更复杂虚拟化，实现了CPU、内存、存储、网络和其它基本的计算资源池化，做到了资源利用最大化。在这个阶段IDC实现按需提供服务。

　　根据前瞻产业研究院发布的《2018-2023年中国大数据产业发展前景与投资战略规划分析报告》，在2017年，产业创新创投数据平台评选出的“大数据创新Top100”中，数据加工分析的公司达到19家，占比19%，金融大数据14家，营销大数据13家，数据采集、数据存储与数据可视化均为5家紧随其后。数据加工分析与数据可视化作为其他大数据项目的核心技术部分，占到榜单的24%，说明大数据核心技术的发展依然是目前行业的热门方向。同时，在应用领域，金融大数据和营销大数据共占到了26%的份额，也预示着未来这两个领域会有更大的发展。

　　二、大数据行业的发展现状和趋势

　　发展现状：2017年中国大数据发展指数总数为1087.8，同比增长179.32；各省市增长的平均值为5.78。其中，浙江和重庆的大数据发展指数增长均超过10，北京、江苏、广东、浙江、上海为大数据产业发展的第一梯队，大数据指数增长平均值为8.13。总的来看，中国大数据发展已形成了8个国家大数据综合试验区为引领，多区域集聚发展、第一梯队领先优势明显的格局。

　　资料来源：中国电子信息产业研究院、中商产业研究院整理

　　2015-2020年中国大数据产业规模走势

　　2018年大数据市场产值预测：2017年中国大数据产业规模达到4700亿元，同比增长30%；其中，大数据硬件产业的产值为234亿元，同比增长39%。随着大数据在各行业的融合应用不断深化，预计2018年中国大数据市场产值将突破6000亿元，达到6200亿元。2017年中国大数据企业发展指数排行榜TOP100中，大数据企业发展指数百强榜单的变动率整体较大，新晋企业达到19家，其中以蚂蚁金服、滴滴出行、新美大、菜鸟网络等为代表的独角兽企业首次入榜，并强势入围30强；以智慧星光、量子数聚、腾云天下为代表的大数据专业厂商首次入围百强榜；以树根互联、徐工信息为代表的工业互联网平台服务提供商也首次入围榜单。

　　2017年中国大数据企业发展指数排行榜TOP10

　　大数据行业发展趋势：

　　1）大数据基础设施建设持续增长：基础设施是大数据产业高速发展的前提和保障。我国加快推进“宽带中国”战略，可加快下一代互联网、4G通信网络、公共无线网络、电子政务网和物联网等网络基础设施的建设。

　　2）大数据开放共享进度加快：大数据时代，国家竞争力将部分体现为一国拥有数据的规模、活性以及该国解释、运用数据的能力，而国家数据主权体现了对数据的占用和控制。因此，大数据时代，数据主权成为另一个大国博弈的空间。

　　3）政府大数据深入应用：各级政府机关在日常管理中累积了大量的数据，但未对这些数据的价值进行充分挖掘，在未来多种数据的融合过程中，政府应用场景将更加丰富，数据挖掘和分析的结果对管理决策的辅助作用可逐步显现。

　　4）大数据相关立法加快：目前，我国暂无关于个人数据信息保护的专门法律，且大数据产业的行业力量、行业组织不够强大，企业自律难以实现，政府的调控和保护能力不够强。未来将通过建立个人信息和隐私保护制度，为公众创造一个良好的信息和隐私安全环境。未来随着国家大数据战略推进实施以及配套政策的贯彻落实，大数据产业发展环境将进一步优化，社会经济各领域对大数据服务需求将进一步增强，大数据的新技术、新业态、新模式将不断涌现，产业规模将继续保持高速增长态势。

　　5）技术影响趋势：大数据的技术发展与物联网、云计算、人工智能等新技术领域的联系将更加紧密，物联网的发展将极大提高数据的获取能力，云计算与人工智能将深度融入数据分析体系，融合创新将会不断地涌现和持续深入

　　6）人才影响趋势：随着2017年教育部公布第二批获准开设“数据科学与大数据技术”的高校名单，加上第一批获批高校获批开设该专业。今年开始，大数据需要的复合型人才将源源不断形成。加之海外和传统行业跨界人才不断加入大数据行业，大数据产业将迎来创新发展。

　　7）资本影响趋势：近年来，伴随着资本大量进入大数据行业，出现了创业公司估值过高的现象。泡沫期的大数据行业，许多企业的发展远远无法回归企业的本质，导致创业企业供给与市场需求之间脱节。随着资本的沉没，理性资本将引领大数据行业健康发展。一些在资本热潮褪去之后还能沿正常轨道发展的企业将占据新一轮的资本优势，得到进一步的发展和壮大。

　　三、大数据行业特性及特征

　　互联网企业表现强势，国外企业进入我国市场： 百度、阿里巴巴、腾讯、京东等互联网企业抓紧布局大数据领域，纷纷推出大数据产品和服务，抢占数据资源。传统IT企业开始尝试涉足大数据领域，其产品和服务多是基于原有业务开展，未能撼动互联网公司的领先地位。初创企业受限于数据资源和商业模式，还要面对互联网企业的并购行为，竞争实力尚显不足。由于我国大数据领域的产业供给远小于市场销量，且已经出现的产品和服务在思路、内容、应用、效果等方面差异化程度不高，加之缺乏成熟的商业模式，导致大数据市场竞争不够充分。在国内企业考虑如何提升服务能力的时候，国外企业已经悄然进入我国市场，未来，国内大数据市场竞争格局将会发生重大转变。

　　1）区域产业聚集现雏形，合作协同发展成常态： 我国大数据产业集聚发展效应开始显现，出现京津冀区域、长三角地区、珠三角地区和中西部四个集聚发展区，各具发展特色。北京依托中关村在信息产业的领先优势，快速集聚和培养了一批大数据企业，继而迅速将集聚势能扩散到津冀地区，形成京津冀大数据走廊格局。长三角地区城市将大数据与当地智慧城市、云计算发展紧密结合，使大数据既有支撑又有的放矢，吸引了大批大数据企业。珠三角地区在产业管理和应用发展等方面率先垂范，对企业扶持力度大，集聚效应明显。大数据产业链上下游企业合作意愿强烈，各集聚区间的合作步伐加快，产学研协同创新发展初见成效

　　2）大数据基础研究受到重视，专业人才培养加速： 越来越多的高校成立大数据研究所、研究中心或实验室，不断加强大数据基础研究，并设立大数据专业，积极培养大数据相关人才。清华成立数据科学研究院，并宣布将推出多学科交叉培养的大数据硕士项目，第一批大数据硕士学位研究生将正式开始培养。北京航空航天大学成立大数据科学与工程国际研究中心，作为布局大数据战略方向的另一重要举措，并创办了国内第一个“大数据科学与应用”软件工程硕士专业。华东师范大学成立云计算与大数据研究中心、厦门大学成立大数据挖掘研究中心并出版《大数据技术基础》教材、广西大学成立复杂性科学与大数据技术研究所等。

　　3）因地制宜制定发展模式，大数据产业发展区域分化明显：大数据产业发展区域分化特征明显。前瞻产业研究院发布的《2018-2023年中国大数据产业发展前景与投资战略规划分析报告》显示，2017年，依据政策环境、人才状况、投资热度与产业发展等维度，我国大数据产业地区发展最好的省市为北京、广东、上海、江苏、浙江、山东、贵州、重庆、福建、四川。

　　其中，京津冀地区依托北京，尤其是中关村在信息产业的领先优势，三地共同建设大数据综合试验区，以大数据的思维、技术、模式、产品、服务等突破行政藩篱和区域界线，将京津冀区域打造成为国家大数据产业创新中心、国家大数据应用先行区、国家大数据创新改革综合试验区、全球大数据产业创新高地。

　　珠三角地区依托广州、深圳等地区的电子信息产业优势，成为了我国重要的大数据产业集聚区域，培育了一批实力较强的大数据创新企业，呈现出“广深引领、珠三角集聚、粤北东西紧随”的发展态势。珠江三角洲地区依托广州、深圳等地区的电子信息产业优势，发挥广州和深圳两个国家超级计算中心的集聚作用，在腾讯、华为、中兴等一批骨干企业的带动下，逐渐形成了大数据集聚发展的趋势。

　　长三角地区依托上海、杭州、南京，将大数据与当地智慧城市、云计算发展紧密结合，吸引了大批大数据企业，促进了产业发展，推动公共治理大数据的应用、推动大数据的科技创新和基础性治理的工作和研究、推动大数据与公共服务基层社会治理相结合、在大数据方面进一步加强与长三角地区和长江经济带城市的合作等。

　　西南地区以贵州、重庆为代表城市，通过积极吸引国内外龙头骨干企业，实现大数据产业在当地的快速发展。2013年起，贵州市率先把握大数据发展机遇，充分发挥其发展大数据产业所独具的生态优势、能源优势、区位优势及战略优势等四大优势，抢占先机率先启动首个国家大数据综合实验区、国家大数据产业集聚区和国家大数据产业技术创新实验区；率先建成全国第一个省级政府数据集聚共享开放的统一云平台；率先开展大数据地方立法，颁布实施《贵州省大数据应用促进条例》；率先设立全球第一个大数据交易所；率先举办贵阳国际大数据产业博览会和云上贵州大数据商业模式大赛等。

　　数据是国家基础性战略资源，是21世纪的“钻石矿”。党中央、国务院高度重视大数据在经济社会发展中的作用，党的十八届五中全会提出“实施国家大数据战略”，国务院印发《促进大数据发展行动纲要》，全面推进大数据发展，加快建设数据强国。全球新一代信息产业处于加速变革期，大数据技术和应用处于创新突破期，国内市场需求处于爆发期，我国大数据产业面临重要的发展机遇。

2017年大数据领域相关政策文件

　　大数据投融资日益活跃：持续升温的大数据创业潮，激发着国内大数据公司的“生产热情”，大数据持续被国内资本市场看好。自2011年以来，大数据领域成功融资的企业数量逐年增加，2014年进入快速上升阶段，环比增长176.47%，2014年以来持续稳步增长，2016年获得融资的企业数量达到221多家。据统计，截至2017年8月初，大数据领域有183家企业获得融资，大数据领域持续获得资本市场的高度青睐。

　　大数据产业支撑体系不断深入完善：随着《大数据发展行动纲要》等一系列配套政策的贯彻落地和实施，我国大数据产业发展环境持续优化、产业生态系统日趋完善。大数据标准体系初步形成，开展了大数据技术、交易、开放共享、工业大数据等国家标准的研制工作，在北京、上海、贵阳开展了大数据标准试点示范。一批大数据技术研发实验室、工程中心、企业技术中心、产业创新平台、产业联盟、投资基金等形式的产业支撑平台相继建成。大数据安全保障体系和法律法规不断完善。

　　四、大数据行业与产业链上下游及行业竞争态势及壁垒

　　（1）与上游的关系

　　大数据分析的数据来源有很多种，包括公司或者机构的内部来源和外部来源。分为以下几类：

　　1）交易数据。包括POS机数据、信用卡刷卡数据、电子商务数据、互联网点击数据、“企业资源规划”（ERP）系统数据、销售系统数据、客户关系管理（CRM）系统数据、公司的生产数据、库存数据、订单数据、供应链数据等。

　　2）移动通信数据。能够上网的智能手机等移动设备越来越普遍。移动通信设备记录的数据量和数据的立体完整度，常常优于各家互联网公司掌握的数据。移动设备上的软件能够追踪和沟通无数事件，从运用软件储存的交易数据（如搜索产品的记录事件）到个人信息资料或状态报告事件（如地点变更即报告一个新的地理编码）等。

　　3）人为数据。人为数据包括电子邮件、文档、图片、音频、视频，以及通过微信、博客、推特、维基、脸书、Linkedin等社交媒体产生的数据流。这些数据大多数为非结构性数据，需要用文本分析功能进行分析。

　　4）机器和传感器数据。来自感应器、量表和其他设施的数据、定位/GPS系统数据等。这包括功能设备会创建或生成的数据，例如智能温度控制器、智能电表、工厂机器和连接互联网的家用电器的数据。来自新兴的物联网（IoT）的数据是机器和传感器所产生的数据的例子之一。来自物联网的数据可以用于构建分析模型，连续监测预测性行为（如当传感器值表示有问题时进行识别），提供规定的指令（如警示技术人员在真正出问题之前检查设备）等。

　　5）互联网上的“开放数据”来源，如政府机构，非营利组织和企业免费提供的数据。

　　（2）与下游的关系

　　a.  金融行业

　　当前，数据是重要资产的理念已经在中国金融行业形成共识，数据的真正价值在于能够洞察企业内部规律，数据的洞察力成为金融企业的核心竞争力。在中国金融行业信息化建设中，与信息加工密切相关的大数据管理正逐渐成为与核心业务系统建设、渠道建设和前置建设同等重要的领域。经过多年的发展与积累，目前中国的大型商业银行和保险公司的数据量已经达到100TB以上级别，并且非结构化数据量在迅速增长。基于对大数据的定义（通常数据量大于100TB，数据量年增率大于60%，数据采集是高速数据流，且数据包含结构化与非结构化数据称为大数据），中国金融行业正在步入大数据时代的初级阶段，并且呈现快速发展势头。

　　b.通讯，媒体和娱乐大数据在通信，媒体和娱乐行业的应用：该行业的企业同时分析客户数据以及行为数据，以创建详细的客户资料，可用于：

　　1）为不同的目标受众创建内容

　　2）根据需要推荐内容

　　3）衡量内容效果

　　c.医疗保健供应方

　　行业特有的大数据挑战：医疗保健部门获得了大量的数据，但一直没能使用数据来遏制医疗保健成本上升，提高医疗保健收益，提高系统效率。这主要是因为电子数据不足或不可用。另外，保存健康相关信息的医疗保健数据库很难与医疗领域有用模式的数据链接起来。其他与大数据相关的挑战包括：将患者排除在决策过程之外，以及使用来自不同渠道的容易获得的传感器的数据。

　　大数据在医疗行业的应用：以色列贝斯的一些医院正在使用数百万病人从手机应用收集的数据，让医生可以使用循证医学，而不是像传统医院一样，对病人进行医疗/实验室检测。有些测试是有效的，但大部分是昂贵的并且通常是低效的。佛罗里达大学使用免费公共卫生数据和Google地图创建视觉数据，可以更快速地识别和有效分析医疗信息，用于跟踪慢性病的传播。

　　d.教育行业

　　行业具体的大数据挑战：从技术角度来看，教育行业面临的一个重大挑战是将来自不同来源和供应商的大数据整合其中，并将其用于一个数据的平台。从实践的角度来看，教育从业者和机构必须学习新的数据管理和分析工具。在技术方面，整合来自不同来源的数据，不同平台和原本不相互合作的不同供应商都面临挑战。在政治上，与用于教育目的的大数据相关的隐私和个人数据保护问题是一个挑战。

　　大数据在教育中的应用：在教育中使用大数据的不同用例中，它也用于衡量教师教学的有效性，以确保学生和教师的良好体验。教师的表现可以根据学生人数，学科人数，学生期望，行为分类和其他几个变量进行微调和衡量。在政府层面上，美国教育部的教育技术办公室正在使用大数据来开发分析数据，以帮助纠正选错在线课程的学生，点击模式也被用来检测学生学习时的无聊程度。

　　e.制造业和自然资源开采业

　　在自然资源行业，通过大数据可以利用地理空间数据，图形数据，文本和时间数据中摄取和整合大量数据建立预测模型，帮助做出决策，应用的领域包括：地震解释和油藏表征。大数据也被用于解决当今制造业所面临的挑战，懿获得竞争优势。

　　f.政府

　　在公共服务方面，大数据应用范围非常广泛，包括能源勘探，金融市场分析，欺诈检测，健康相关研究和环境保护。

　　g.零售和批发贸易

　　随着信息技术的快速发展带动了各行各业的发展，催生了物联网、互联网、电子商务等新兴产业的发展。在信息化的社会，人们的生活已经习惯了互联网、随时在移动终端的状态下办公、娱乐、生活的方式，因此，我们对“物联网”和“云计算”的需求应运而生。而在这一信息爆炸式的环境——我们平常进行网络社交、上京东、淘宝、天猫等网站购物、上博客、打电话、发短信等等都会产生海量信息——正因为有这样一个大环境，所以我们所需要处理的数据也是巨大了。数据挖掘可以说是大数据当中的核心技术，通过该技术的应用，将在有效实现零售行业的升级和新的商业模式的探索。

　　h.来自客户忠诚度数据，POS，商店库存，本地人口统计数据的大数据将继续由零售和批发商店收集

　　在纽约大展零售贸易大会上，像微软，思科和IBM这样的公司表示，零售行业需要利用大数据进行分析和其他用途，包括：

　　通过购物模式，本地活动等数据优化员工配置

　　减少欺诈

　　及时分析库存

　　i.交通：政府，私人机构和个人的一些大数据应用包括：

　　1）   政府使用大数据：交通管制，路线规划，智能交通系统，拥堵管理（预测交通状况）

　　2）   私营部门在运输中使用大数据：收入管理，技术改进，物流和竞争优势（通过整合出货量和优化货运）

　　3）   个人使用大数据包括：路线规划节省燃料和时间，旅游安排等。

　　能源和公用事业：智能电表读取器允许几乎每15分钟收集数据，而不是每天用旧的读表器收集数据这种细粒度数据被用于更好地分析实用程序的消耗，这允许改进客户反馈和更好地控制公用事业的使用。在公用事业公司，使用大数据还可以提供更好的资产和人力资源管理，这对于识别错误和在完成失败之前尽快进行纠正是有用的。

　　（3）行业竞争程度

　　我国大数据企业竞争格局总体呈现数据资源型企业、技术服务型企业和应用服务型企业“三足鼎立”局面。数据资源型企业，这些企业基于自身的海量高价值数据开始对外提供金融、生活、语音、旅游、健康和教育等多种服务。互联网企业积累的数据，其中以百度为首的搜索引擎企业的优势在于搜索数据、浏览器数据；以阿里为首的电商企业的优势在于电商数据和支付数据；以腾讯为首的社交类企业的优势在于社交、游戏等数据，这些互联网企业逐渐利用自身优势开展各种数据服务。典型代表企业腾讯、百度、阿里巴巴、数据堂、星图数据、优易数据等。

　　技术服务型企业，主要是以技术开发为主的，即专注开发数据采集、存储、分析以及可视化工具的企业，包括软件企业、硬件企业和解决方案商。代表企业华为、用友、联想、浪潮、星环科技、永洪科技、南大通用、曙光等。

　　应用服务型企业，主要是为客户提供云服务和数据服务的应用服务型企业，这类企业广泛对接各个行业，专注于产品的便捷化和易维护性，同时要针对不同行业客户的需求提供差异化的服务和解决方案。代表企业百分点、明略数据、TalkingData等。

　　从大数据产业链竞争态势来看，大数据产业链整体布局完整，但局部环节竞争程度差异化明显，产业链中游竞争集中度较高，基本被国外企业垄断，位于产业链下游的数据展示与应用竞争集中度较低，尚未形成垄断，是国内新兴企业最有机会的领域。

　　（4）行业竞争壁垒

　　对数据源而言，最大的壁垒就是数据壁垒，这需要有长时间的数据积累，例如百度就积累和大量搜索的数据，腾讯就积累了大量社交网络的数据，在排除并购的前提下，没有长时间的数据积累，企业很难得在数据源环节中立足。对于长期积累的数据而言，也是具有排他性的，每家企业取得的数据都是独特的，伴随数据量级的发展，会越来越有价值。

　　对数据基础设施环节而言，其壁垒主要在于技术，需要有研发能力，例如针对数据的算法能力和关于数据系统的架构能力等等。技术是在发展，同时技术能力也需要沉淀，能够进入数据基础设施环节的公司，一定在技术上有很深的积累，才能够提供相关的硬件和软件。这种积累通常不是一家在车库中的创业公司短短几年就可以一飞冲天达到，而是需要长时间的积累，这种积累不止十年，甚至有三十年或者更长。分析实施环节的壁垒主要的是看分析能力和行业的理解，这个相比其他环节的壁垒较低，这也是许多创业公司的切入点。只要有人对行业有相关的认识，有一定的分析能力就能够进入这个环节中去。

　　数据应用环节的壁垒主要在于用户和渠道。用户其实是用户的数量，数据应用环节的是一片赢者通吃的海洋，只要有用户就会有很多机会，先进入的公司可以很容易的利用用户积累得到巨大的先发优势。要是后进入的企业，还用同样的方式去积累用户的话，就很难生存，除非在其背后有巨大的资本支持以及颠覆性创新的模式。想象一下如果现在还有公司冒出来做团购，估计都没几个用户会理他了。渠道壁垒是对下游行业的掌控，其实就看下游行业的渗透程度，渗透得越深，环节中的新成员就更难以生存。从用户和渠道上也能够解释，一个行业后在涌入了一系列的大数据企业，并展开积累的竞争后，为什么到最后只会有少数几家能够生存，从此也很难有新成员进入这一领域。

　　五、大数据行业的优劣势与面临的机遇与挑战

　　优势：首先，巨大的数据资源带来黄金发展机遇意味着巨大的财富，变现潜力巨大。我国信息产业目前依然维持高增长，大数据商业价值日益深y入人心，大数据资源的变现能在民生、生产、生活等众多领域造福国民，创造巨大价值。大数据将成为中国继人口红利之后的又一大竞争优势，中国既是制造大国，同时也是使用大国，大量的数据都在中国汇集，这无疑给了中国制造最好的资源优势。如果数据是新制造革命时代中价值创造的原材料，那么中国将无疑是资源最多的国家。数据本身不会说话，也并不会直接创造价值，真正为企业带来价值的是数据分析之后产生的信息的意义和行动的价值，是数据经过实时分析后及时地流向决策链的各个环节，或是成为面向客户创造价值服务的内容和依据。中国应该利用好使用数据的资源，不断提升中国对制造的理解和知识积累的速度，才能弥补中国在装备制造和核心零部件等方面的弱势，逐步弥补这些弱势领域造成的短板，让世界向中国学习在制造系统中创智和创值的经验。

　　劣势：其次，我国目前的大数据数据资源依然存在诸多不足。由于我国大数据相较于美国等西方发达国家起步较晚，大数据基础设施建设依然处于初级阶段，因此数据的收集、存储以及即时性分析都还存在着诸多不足。我国的数据资源丰富，但分布比较分散，往往跨行业跨区域存在。如何将各种分散的数据资源整合起来，避免有价值数据的丢弃，让它们得到充分、有效的利用，这是大数据市场发展的重要问题。

　　另外，我国大数据产业快速发展，但是仍存在行业发展良莠不齐、数据开放程度较低、安全风险日益突出、技术应用创新滞后等四大挑战。

　　1）行业发展良莠不齐：我国大数据仍处于起步发展阶段，行业标准和管理机制尚未成熟，在“万众创新，大众创业”的大环境下，大量的大数据企业不断涌现，存在很多企业借大数据概念热潮投机倒把，行业发展良莠不齐;

　　2）数据开放程度较低：数据开放共享是促进大数据产业发展的重要举措，我国政府部门掌握着全体社会80%的信息资源，但这些信息资源由于部门或区域利益分别被不同的部门控制，且不同部门的数据标准不一致，导致信息流的上游环节处于封闭状态，不能有效地释放和共享，数据源的欠缺直接影响大数据分析和处理的需求，导致大数据应用缺乏价值;

　　3）安全风险日益突出：随着云计算、物联网和移动互联网等新一代信息技术的飞速发展，大数据应用规模日趋扩大，数据及其应用皆呈指数级增长态势，当企业用数据挖掘和数据分析获取商业价值的时候，黑客也可以利用大数据分析向企业发起攻击，同时社交网站的隐私数据也可能被不法商家利用等等，这都给数据安全带来了巨大的挑战;

　　4）技术应用创新滞后：我国大数据产业虽然与国际大数据发展几近步伐相同，但是仍然存在技术及应用滞后的差距，在大数据相关的数据库及数据挖掘等技术领域，处于支配地位的领军企业均为国外企业。市场上，由于国内大数据企业技术上的不足，用户更加青睐IBM、甲骨文、EMC、SAP 等国外IT企业，国内企业市场占有率仅5%左右。

　　威胁：

　　1）是怎么保护用户隐私信息：欧盟已经出台了苛刻的数据保护条例，美国也对出售客户数据的运营商施以重罚，还处在萌芽状态的中国大数据行业，怎么确保用户隐私信息不被泄漏呢？对于一些非隐私信息，比如地理数据，气象数据，地图数据进行开放、交易、分析是非常有价值的，但是一旦涉及到用户的隐私数据，特别是单个人的隐私数据，就会涉及到道德与法律的风险。数据交易之前的脱敏或许是一种解决办法，但是，并不能完全解决这个问题，因此，阿里也提出了另外一种解决思路，基于平台担保的“可用不可见”技术。比如阿里云作为交易平台，跟支付宝一样是一个中间担保机构，双方的数据上传到阿里云大数据交易平台，双方可以使用对方的数据，以获得特定的结果，比如通过上传一些算法，模型而获得结果，双方都不能看到对方的任何详细数据。

　　2）是数据的所有者问题：数据作为一种生产资料，跟农业时期的土地，工业时期的资本不一样，使用之后并不会消失，如果作为数据的购买者，这个数据的所有者到底是谁？怎么确保数据的购买者不会再次售卖这些数据？或者购买者加工了这些数据之后，加工之后的数据所有者是谁？

　　3）是数据使用的合法性问题：大数据营销中，目前用得最多的就是精准营销。数据交易中，最值钱的也是个人数据。我们日常分析中做的客户画像，目的就是给海量客户分群、打标签，然后针对性地开展定向营销和服务。然而如果利用用户的个人信息（比如年龄、性别、职业等）进行营销，必须事先征得用户的同意，才能向用户发送广告信息呢，还是可以直接使用？

　　危机：海量的数据管理难度巨大，也给数据安全提出了更高的要求。大数据孕育着很多商机，如何在商业化的过程中既保证个性化，又保护隐私这是一个对立的问题，给开发者提出很大挑战。利用大数据获取商机显然十分重要，但如何防止这些数据被过度泛滥、被公开和被不法分子利用，则是大数据发展过程中必须思考的新课题：

　　A）数据孤岛问题突出：当前，由于政府部门相互间信息不对称、制度法律不具体、缺乏公共平台、共享渠道等多重因素，导致大量政府数据存在“不愿开、不敢开、不能开、不会开”的问题，而已开放的数据也因格式标准缺失无法进行关联融合，成为“开放的孤岛”。

　　B）大数据安全和隐私令人担忧：数据资源相关配套法律法规和监管机制尚不健全，多数企业对数据的管理能力不足。在各种数据与个人隐私信息“裸奔”的大数据时代，尽快出台关于信息采集与信息安全保护基本法迫在眉睫。数据泄露水平指数调查报告》显示，2017年上半年全球有19亿条数据记录被泄露。相比2016年下半年，丢失、被盗或被泄露记录条数增加了164%。另一份报告则显示，通过手机APP获取个人信息数据在国内已呈常态化趋势。高达96.6%的Android应用会获取用户手机隐私权限，25.3%的Android应用甚至存在越界获取用户手机隐私权限的情况。

　　C）人才缺乏，大数据技术创新能力不足：相关数据显示，未来3-5年，中国需要180万数据人才，截止2017年5月中国大数据从业人员只有约30万人。此外，技术壁垒、产品和解决方案不成熟等也限制了大数据应用创新的成效。大数据领域的高端人才稀缺，大数据领域的高端人才来源主要以海归人员和传统行业跨界人才为主，但完全满足不了目前国内市场的大量需求。

　　总结：很多行业客户最初对外部数据的认知是从购买外部数据开始。无论是用户画像，还是做其他用途的数据。客户还延续了IT建设的思维，认为所缺的只是外部的数据。有了外部数据，依靠自身的力量也完全可以完成大数据在所在行业的应用。别人搞大数据做用户画像，就也来画像；别人提大数据能精准营销，那也来搞精准营销。并没有从认知层面建立数据思维，对大数据有一个全面的有高度的理解。这种生搬硬套的做法也从某种程度上导致了数据应用效果不好的局面，没有真正将数据发挥其应有的价值。在外部数据应用的过程中，还有一个主要的误区就是对数据应用的不切实际的预期。要么是将大数据、人工智能神话，要么就对数据应用的过程缺乏耐心。大数据本身是一门技术，它与其他技术一样都有着它的局限；大数据不是万能的，但是数据思维是可以创造很大价值的。2017年，产业格局越来越清晰。无论是数据服务平台提供商，还是数据解决方案提供商，都在正确的方向上走出了坚实的一步，其价值已经得到了各自市场的认可，进入了良性的循环。虽然，我认为大数据的真正高潮还未到来，短时间内还处于投入大于产出的局面，但曙光在前，已经在一个量变到质变的积累过程当中。随着技术和数据的进一步成熟，随着行业的深入，相信不远的未来将会迎来数据时代的真正高潮。