从2014年开始接触大数据,两年多时间,我眼中的中国大数据行业已经发生了很大变化。罗胖在跨年演讲中说,算法、人工智能、大数据,最基础的还是数据,没有数据什么也没有。这两年的数据爆炸和技术成熟让大数据较之前有了飞速又落地的发展。见证时代的改变,于我们都是一件幸事。
1、大数据不是风口,但绝对有用
刚入行的时候,正是大数据的风口,有关大数据行业的新闻层出不穷,行业一片繁荣景象,彼时公司做了个小工具聚合各互联网媒体的新闻,每天带有大数据关键词的新闻都有很多。谁创立了大数据公司,某个大数据公司又融资了,哪个行业有大数据新应用,路演上号称大数据公司的也不少。但是仔细看看,很多打着大数据的公司所做的还是传统数据分析的事情。数据量都不到TB级别,如何做大数据?中国之前并没有相关专业,大数据专业人才缺乏,人才都没有,如何做大数据?
随着时间推移,大数据行业新闻少了很多,标题带有大数据的更多是打着大数据噱头的各种数据报告,新闻关注点转向AI,VR等新技术,而大数据公司被收购的消息逐渐增多,今年遭遇资本寒冬,创业公司日子并不好过。相反的是行业会议空前增多,除却很多云计算、大数据公司自己举办各种分享活动,很多互联网会议都要打上大数据的主题标签。据我自己的日历记录,去年平均每周都有一场大数据相关活动(实际带上小型分享、路演之类的交流活动会更多)。
更多大公司在默默应用数据,随着数据的积累和开放,大数据从业者们可以从开发数据中做出创新,分享自己的行业见解,类似于城市数据团的数据爱好者们崛起。数据竞赛平台的增多也在一定程度上推动了人才培养。更多人也在推动政府数据开放、数据行业法律规则制定。虽然新闻减少(或许是神奇的故事讲多了也不再神奇),但深入公司内部去了解能发现,更多的公司已经抛弃“大数据”这三个字的噱头,它成为一个必不可少的战略,而不是融资时漂亮的PPT。
2、数据分析不是神话,但对行业改造切实可见
前两年大家都在鼓吹大数据的神奇,仿佛企业不用大数据、不进行数据化改造就无法继续在竞争中立足。数据分析公司也层出不穷,纷纷提出要颠覆传统行业。看到国外各种脑洞大开的数据应用案例一度也让我惊叹!但是中国和国外的差异巨大,中国文化中缺少数据文化,很多行业数据积累少,就大数据概念和应用来说也至少晚了10年。在中国实际应用中,如果不了解传统行业的实际情况,互联网人只在理想中用数据可以改变业务是非常不切实际的。彼时虽然大家有美好的愿景,实际应用还是处处碰壁。做数据分析还是以服务为主,可复制的产品不多。
通过几年的市场培育,金融、营销、互联网等原本就有数据积累和数据应用的行业已经发展比较成熟。我今年做过一份大数据创业公司统计,排除2000年以前成立的公司及BAT等大互联网公司,目前中国的大数据创业公司有八百多家,其中金融和营销近两百家。金融的征信、放贷、精准营销、广告投放方面都已有十分成熟的数据产品,针对公司各渠道数据整合管理的产品也有不少。近两年健康、影视、体育等行业也出现了一些数据应用公司和案例。
但是在传统农业、制造业等需要数据改造提升效率的行业,还有很长的路要走,一方面还需要大量的数据积累,另一方面花费资金进行数据改造对于已经处于危机的传统企业是不改会死,改了可能死的更早的局面。对于大数据企业来说,对传统行业的改造要从建立数据源开始。未来大企业不仅是技术的优势,更是数据的优势,这种优势形成的鸿沟使初创企业永远也无法追上他们的叫脚步。
3、数据获取渠道增多,个人数据应用管制越来越严
互联网普及了这么多年,个人数据是最容易收集也是目前最容易产生经济价值的。最初很多数据应用案例都与个人数据相关,最经典是用一个订披萨的电话案例告诉你什么是大数据的故事。随着移动互联网、智能硬件、传感器的发展,数据量越来越多,各个公司搜集的个人数据安全无法得到保障,数据泄露、买卖的事件层出不穷,已经对普通人的正常生活造成了巨大的影响。且不说我们日常不断接到的推销电话,2016年因为信息泄露带来的精准诈骗造成了生命的消逝让大家充分意识到数据泄露所造成的危害。
在个人逐渐被数据化的时代,国家开始立法管制,16年底颁布的《中华人民共和国网络安全法》对数据采集、使用都有明确的规定。未来企业对个人数据的使用限制将越来越多,政府数据立法开放和各地数据交易平台的建立让数据获取逐渐纳入法制轨道。普通人也逐渐意识到自身数据的价值不愿意授权自己的数据。
但很多时候大家对数据搜集防不胜防。就使用手机来说,基本你所有的使用行为都能被记录,这在某些方面是有利的,比如有了这些数据,城市的人流控制、交通疏导或者失踪儿童寻找等都能更加便捷,但是信息一旦泄露所造成的损失也更加巨大。
4、数据生态完善,但行业乱象不止
这两年不仅是大数据企业增多,围绕大数据的培训、数据交易、数据竞赛、相关媒体在这两年大量涌现,不少学校在这两年筹备、开设大数据专业培养专业人才,相关立法完善,政府也开始重视数据建设,以贵州为代表的一些政府把大数据做为发展重点。单就媒体方面,原来关注统计、BI的转向大数据,最初由数据爱好者建立的网站、自媒体也开始公司化运作。
但是由于大数据是新兴产业,相关立法监管还未跟上,尤其是国人的数据保护意识还未成熟,数据泄露、买卖事件层出不穷极大损害了行业的公信力(想想P2P)。培训虽然贵但并不专业(数据人才本就缺乏,更不要说老师)。虽有政府扶植,但是实际效果却很尴尬,在不懂大数据的官员面前,中国特色关系似乎成为考量重点。最重要的一点,虽然有各种投资,但是大家挣到钱了吗?
拉钩说2016年国内互联网行业从业人数达1677。2万。估计中国14亿人里工作需要接触数据或者对大数据有兴趣的有几百万,而大数据行业里最受欢迎的微信公众号粉丝不过二十几万。但与此同时,媒体用各种“春节出行大数据报告”“微信使用大数据报告”“大数据告诉你房价涨的有多恐怖”等报告普及了大数据这个词,让其深入人心。
未来数据量增多,大数据将成为常态。我看好大数据的使用,大数据在寻根溯源、节约资源、提高效率方面都能发挥巨大作用,它在未来会和寻常使用的技术一样深入各行各业。从热潮到稳步发展,终究还是要落到“做”上,之前看过一篇《明年,不妨干点脏活苦活累活》,其实大数据并没有想象中的那么高大上,它是真正的脏活苦活累活,但做好了这些,大热的人工智能、传统产业升级换代才能实现。