2016年、2017年大数据的应用会进入到相对成熟、务实的落地阶段。随着云计算技术、物联网技术的兴起,我们数据的规模越来越大、数据的格式越来越复杂、数据的收集速度越来越快,使得它和传统意义上的政府、企业的业务数据相比,这几个特点显得比较明显, 即:
· 利用存储能力运营,满足企业和个人面临海量信息存储的需求;
· 对数据挖掘分析后预测相关主体的行为,开展业务;
· 直接进行信息租售或提供信息租售平台;
· IT服务提供商提供大数据空间出租模式,从简单的文件存储,逐步扩展到数据聚合平台;
· 为运营中某一环节或某一业务问题提供解决方案,实施单点技术;
· 针对企业系统需求,提供整体解决方案;
· BDaaS (Big data as a service),数据应用即服务的模式,通过云服务提供在线大数据技术或者解决方案。
应对这些特点,计算机界、科技界也需要与时俱进,在技术上做一些创新和变革,使得这些数据能够成为企业真正的数据资产。
让大数据成为数据资本和智慧
从原始的数据到如何形成为企业的数据资本、数据的智慧,从技术处理上它要经过几个环节:
· 第一是数据的形成。不同形态的数据如何最终形成一个可管理的,放到我们数据湖当中去,这是数据的收集、获取、整理这样一个过程,这是一个数据的形成过程。
· 到了第二个层级,数据湖当中有关系型数据(诸如表格形式的、有行有列的高价值的数据),也有非关系型数据(图片、视频的形态的数据),这些数据我们把它有序地管理起来,形成一个从数据到信息的过程。
· 这些信息汇总起来以后,我们要经过数据探索的过程,都放在这个地方你不积极探索它、利用它、分析它,这些数据仍然是沉睡的金矿。这个探索的过程我们把它形容成从信息到知识的一个概念。
· 最终,探索出来的一些结果,我们把它使用起来,来引领企业的业务流程的改进,新业务的产生,把这些东西形成一个新的价值,这是我们在大数据运用的一个更高的阶段,我们从知识到了智慧。
当今大数据市场非常蓬勃,不同行业、不同企业和不同的大数据供应商也处于不同的阶段,有的就处于平台建设阶段,也有些进入到信息的探索阶段,业界的关注反过来也推动了大数据市场的新尝试和不断前行,例如通过大数据帮助电信、金融的企业去做所谓的精准营销,即从海量的客户当中找寻到有可能跟我成交的客户。还有一些反欺诈的案例,包括我们在公安、交警、套牌,一个地方的摄像头捕捉到了一个牌照,我们在很短的时间里面,在另外的一个地方也拍到了一样的牌照,它一定是套牌的欺诈。再如,我们发现一张信用卡在A 地被使用,但同一时间,这张信用卡也在B地被使用,这可能是金融性的欺诈,这些都用到流数据的处理技术。各行各业都在考虑如何使用我们过去不曾拥有的海量数据去改变它原有的一些业务流程,创造更大的价值。
甲骨文大数据是基于开源与商业相结合的平台,利用分布式、Hadoop等技术,提供完整的、基于多种技术组合的大数据解决方案,实质上是一个全数据管理理念。我们将产品商业化,事实上是缩短了企业和政府去做大数据建设的周期。
甲骨文大数据发现(Oracle Big Data Discovery)五步走,提升管理决策效能
甲骨文在很多年前就花了十几亿美金收购了可视化大数据的探索工具Endeca,在此基础之上,随着Hadoop的技术发展,我们研发了它的Hadoop版本,Hadoop可视化探索平台,即Big Data Discovery (大数据发现)
大数据的探索过程大致可以包括以下五大步骤:
甲骨文大数据创新推动数字化转型
· 第一,连接企业的大数据数据源。
· 第二,以可视化的方式去展示我们大数据湖的全景。如果你真的想象大数据湖是一个湖,你站在岸边是看不到湖里有什么东西,有鱼有虾,有水草、有礁石,通过可视化我们自动分类,把大数据湖当中的数据自动分类,根据它的标签、属性,我们可以用一个图形化的方式让你一眼可以看清楚这个数据湖当中的数据。
· 第三,数据的转换和整理过程。传统来讲在做传统的BI的时候有ETL的过程,这个过程太复杂,我们在大数据处理的时候希望他能够轻建模、自动化。
· 第四,我们是探索数据当中的规律,相关性。
· 第五,我们把探索出来的结果做一个发布和分享。
以上五大步骤过去要用很多种技术组合起来才可以做到, 而今天我们在一个叫做"大数据发现(Big Data Discovery) "的平台基础之上就可以完成。 当我们已经把大数据探索到一定的高价值的部分,便可提交价值数据给管理层做决策参考。
这上面讲到流数据的过程,大数据从管理从形态上就是两种:一种是离线数据处理,实际应用中的大部分都是离线数据处理,数据获取进来形成数据湖,进入到探索的过程,产生的结果做商业的应用,这是一个离线数据处理的过程。
另一种大数据的形态是事实数据也叫快数据,有时也被称之为流数据或流处理,其通常是一个实时运算框架,可实现数据的实时处理、模式匹配或快速模型计算,比如在金融领域的欺诈检测、实时风险控制、实时精准营销等领域都有广泛的应用。
根据市场上第三方对数据管理平台的评测,无论是Gartner的数据仓库魔力象限图,还是Forrester的Hadoop优化系统波纹图,甲骨文在大数据领域都是处在市场的领导地位。
讲到大数据的访问层,甲骨文也提供通过一套SQL语句来访问所有数据,无论你的数据是存储在数据库中、Hadoop中还是NoSQL中,Oracle Big Data SQL 提供全面支持。
甲骨文看好大数据前景,推动落地
我们在过去的两三年当中,大数据在中国日趋蓬勃,而如何真正落地正引起广泛讨论。甲骨文在一些实际的项目中也积累了一些最佳实践:
· 例如在汽车制造业,可通过内外部大数据的整合实现了对汽车销售因素的量化分析,包括销量的预测;
·在电信运营商,可通过我们的机器学习(Machine Learning)平台,大幅提升了呼叫中心外呼精准营销成功率;
· 在政府部门,可协助相关地方政府,实现数据的整合、开发与共享;
· 在农业,可通过大数据分析进行土壤管理、提高农作物产量、畜牧养殖全周期的数字化管理等;
· 在金融,可利用大数据发现金融违规行为、进行风险防范和欺诈检测。
另外,上述所有提到的大数据能力,包括大数据采集、存储、分析、可视化等,都在甲骨文的大数据云服务中提供,客户甚至可以一部分服务采用公有云、一部分在本地数据中心自建的混搭架构,甲骨文都可以完全无缝的支持,这就是混合云的概念。
在旧金山的大会上,甲骨文推出了业界最全面的云分析产品--Oracle分析云。作为业界唯一一款端到端业务分析解决方案,Oracle分析云包含高性能,大规模分析处理基础架构;用于数据准备、发现、可视化和协作的全面工具;针对具体领域的机器学习模型;用于企业经营的最佳实践分析关键绩效指标;和专门为分析设计的海量精选公共数据集。
甲骨文公司副总裁、中国区技术总经理兼大数据和商务分析业务总经理高礼强
甲骨文公司副总裁、中国区技术总经理兼大数据和商务分析业务总经理高礼强指出:"大数据领域是我们战略重点之一,同时它也是延续我们甲骨文传统的数据管理技术的优势领域,因此我们非常重视这个领域。"
"甲骨文大数据战略是非常清晰的,我们的技术组合都是围绕着大数据管理、大数据处理的特点,也是非常明显,在业内也是领先的技术。"
展望未来,高礼强指出,"大数据处理满足了众多客户基于不需要很大的投资而建立自己的大数据的平台的需求。我们看准这个市场,云服务对数据分析来讲是一个典型且非常适合的一个场景。我们的使命是:希望通过大数据技术的商业化,令企业和政府的大数据应用在时间上可以有一个极大的节约,他们不需要花费大量的精力放在平台建设上,可以更好地专注于大数据的数据变现和价值释放,更好地为企业创造价值。"