大数据之BAT千亿级利润背后的现象

　　提到“大数据分析”，人们近两年对这个词并不陌生，国内媒体对于有关“大数据”及“数据分析”概念的大范围炒作，使得人人都知道意识到了“大数据”时代的到来。无论在哪家企业的商业模式里，大数据分析近乎成为了一种标配，而似乎一夜之间，国内各型各色的数据分析企业也如雨后春笋般冒了出来。

　　的确，大数据时代已经到来。

　　根据调查，2015年全球大数据和业务分析总收入约为1229亿美元，同比近三年内数据，呈现较大增幅趋势。毫无疑问，随着大数据时代的到来，大数据分析技术对各行各业商业化运作都已产生重大影响。 尤其在一些垂直领域，包括汽车、家装、电子产品等行业在全球市场大数据分析技术运用的最多，这部分全球收入共占据约228亿美元。

　　在中国，我们熟知的很多知名企业都已经将大数据分析技术运用在自己的服务中。例如，阿里通过分析用户购物习惯进行商品类目推荐，滴滴通过数据计算为用户置配车辆，京东利用商品库存分析进行仓储管理。更多的中小企业也开始意识到大数据分析的重要性，并加入到大数据分析的行列之中。

　　但是随着“大数据”和“数据分析”概念炒作的升温，也让很多企业CIO/CTO们对其产生“畏惧”。一方面，企业发展中不可避免的充斥着很多无从分析的非结构化数据。在大数据分析中这类数据虽然至关重要，但目前我国绝大多数的数据分析公司还尚不具备对其分析的能力。而传统的结构化数据分析在国内仍存在不科学、周期长、性价比低及无法产生直接经济效益等弊端。另一方面，由于大数据分析具有海量的数据规模、快速的数据流动、多样的数据类型和价值密度低等特征，企业通过部署及使用大数据工具可以获取更精准的资源，从而提高自身利润率和竞争优势。因此，在庞大的市场需求下。尽管不少数据分析公司不具备大数据分析的能力，还是被驱使着进入到这片红海之中，这也使得目前国内市场数据分析公司水平良莠不齐。

　　而企业即使了解大数据分析所能带来的红利，也因对大数据分析缺乏基础认知，不能真正选择适合自身业务的数据分析模式。很多企业级的客户自身在进行大数据分析时，仍以结构化数据分析为主，忽略了相对内涵丰富的非结构化数据。

　　国内企业进行结构化数据分析通常采取“招标+外包”的传统模式。企业级客户按照历史经验应先建立起自己的数据分析KPI（关键绩效指标），然后以此为参照将整个数据分析任务外包给第三方数据公司，经过数月的分析后，由数据公司将分析结果返还给甲方企业。企业依据分析结果再进行策略调整。

　　在面对如今数据爆炸的时代，传统数据分析在商业运用中暴露的诸多弊端，主要可以归结为以下七条：

　　第一,非结构化数据往往内涵更为丰富并且至关重要。目前我们所认知的数据分为两大类，一类可以用数据或统一的结构加以表示，被称之为结构化数据，例如数字、符号等，而无法用数字或统一结构表示的另一类信息则被称为非结构化数据，如文本、图像、声音、网页等。

　　企业以往使用的传统数据分析系统仅仅只能对结构化和关系性的数据进行处理分析，这部分数据一般是已知且容易理解的，通过抽样读取很小一部分数据集来对整个数据集进行预判。而在企业发展过程中，所产生的数据其存在形式往往各式各样，非结构化数据分析正是基于企业海量数据处理分析，所得出的结果也更为精准。

　　第二，KPI非数据驱动生成，缺乏科学性。国内企业数据分析前制定KPI标准常常以人为经验得出，而不是由数据驱动并且实时生成的，因此造成的结果则是KPI常年不变，并且缺乏科学性。在最终数据分析上会存在较大误差。

　　第三，数据分析时效性差。国内企业在进行大数据分析时采用第三方外包的方式，整个周期至少也要数月的时间，往往返还回结果时，企业内部的相关数据已经完全改变了。

　　第四，浪费了企业内部的分析师资源。不少企业都用有自己的内部分析师，采用外包的方式，完全浪费了这部分资源，企业从经济效益上很不划算。而且在数据衔接上，由于第三方数据公司并不清楚企业的详细情况，通过数据分析无法真正了解数据背后所蕴含的实际原因。

　　第五，数据安全性无法保障。外包的数据安全性问题一直是国内企业CTO的老大难问题，因为一些企业核心数据会涉及到商业机密，企业若想确保数据以安全的方式交予第三方大数据公司，往往需要耗费额外的时间和经济成本。

　　第六，数据分析结果不能与企业经济效益直接挂钩。由于第三方数据公司的介入，国内企业在得到数月的分析结构后，从内部执行上并不能很好地将分析结果运用到企业经济效益的改善上，数据分析最终成为了一堆没用的数字。

　　第七，第三方大数据公司分析能力有限。国内大部分第三方公司由于缺乏动态、数据驱动的数据分析工具，更多时候也仅是依照经验制定KPI和进行数据分析，这样分析出的结果同样缺乏科学性。

　　正是基于上述弊端，才使国内企业陷入了数据分析的困局。其实，非结构化数据的分析，是每个企业都是非常渴望的。但由于受国内技术的制约以及工具的缺乏，公开市场上鲜有出色的分析平台。大数据分析的核心技术只掌握在一些顶尖企业和专业数据分析公司手中，通常价格不菲。而DataMesh（商询科技）所研发的智慧数据分析专家系统（MeshExpert）正是基于这样背景下应运而生的数据分析工具的代表。MeshExpert是利用大数据分析核心语言Hadoop框架搭建的数据分析软件，不但能够一站式解决非结构化数据的清洗，建模和标记，处理传统数据分析不能处理的半结构化和非结构化数据。而其易操作，上手快等特点，更方便帮助企业进行内部分析师的培训，充分整合企业自身资源。不仅如此，系统还可根据算法实现自我学习，帮助企业得到精准、实时、有效的数据分析结果

　　我们相信，在未来的大数据分析技术中，非结构化数据分析将逐渐取代传统的结构化数据分析技术，通过海量的数据分析来为企业应对更为复杂的商业模型，从而替企业提高市场洞察力并创造价值。