导语:古有水泊梁山英雄108将叱咤江湖,今有"中国大数据技术先锋108将"高端人物访谈搅动风云。2017年,由DT学院、中国城市报大数据中心、清华大数据产业联合会、山西省大数据产业协会联合举办,面向大数据产业的技术精英、专家学者以及大数据产业链领域公司CTO的"中国大数据技术先锋108将"高端人物访谈活动正式启动,围绕大数据技术的多个层面进行分享,旨在搭建大数据技术传播分享的高端平台,促进大数据技术的业内交流。
林俊雄:深圳索信达数据技术股份有限公司 集团首席顾问30年IT老兵。曾就职IBM、Teradata 、SAP、SAS等国际著名信息技术厂家,十几年前已经开始带领全球最大的数据仓库企业拓展中国市场,从运营商到金融,从金融到零售制造。从数据技术专家,到资深业务顾问。从Teradata香港区及华南区总经理,到SAP和SAS香港区董事总经理。 对于大数据行业的发展和洞察见解,具有世界高度,中国深度。
一、访谈主题
大数据技术在数据仓库企业的应用实践分享
二、访谈内容
DT学院:请您给大家介绍下什么是数据仓库?
林俊雄:数据仓库可以算是历史数据应用的一个开端时代。过去企业系统的建设,都是以业务功能面出发,营销系统处理营销,财务系统处理财务, 所以导致业务统计分析上经常出现不一致的管理信息。 而由历史数据处理衍生出来的数据仓库,则能够以企业全貌去整合各个业务线的数据,梳理好不同业务系统间的冗余和口径不一的缺点,从而为企业提供全面一致的整合信息,帮助企业快速作出有效的决策。通过建设企业数据仓库,把原始数据梳理好,能够更快速准确支持下游应用,为企业管理报表(管理驾驶舱),业务分析,高中管理层的决策支持系统,以及各种数据应用提供非常有效可靠的基础支持。
DT学院:数据仓库技术目前在哪个行业应用最为广泛?在大数据分析时代其发展趋势如何?索信达在数据仓库方面有哪些实践经验?
林俊雄:由于过去电信运营商和欧美的大型超市零售的数据量极为庞大,所以奠定了数据仓库在电信零售行业的广泛应用,金融保险则更能在价值上发挥出数据仓库的优点。数据仓库可以说是企业做到科学化管理的必需品,数据仓库可以从自己运营产生的历史数据中发掘出价值。
索信达数据全面专注于金融数据仓库,数据分析等服务范畴。例如在智慧营销上面,为客户建立客户标签,群组细分,从而匹配推送个性化的产品, 落实企业内的整个营销闭环。 又如在风险管理方面, 给金融机构把控好企业的风险,不单有效地满足监管合规的要求,更大大提升了银行的风险调控能力。在今天的大数据时代,企业胜负就在于如何掌握应用好这些数据,让其发挥业务价值,提升企业竞争力。
DT学院:大数据技术现在在数据仓库企业中扮演了什么角色和地位?发挥了什么作用?
林俊雄:可以这样说,数据仓库是数据处理、管理的一套概念,而大数据技术是这些数据处理理念的延伸。 今天考虑大数据技术除了数据质量,数据集中,数据分发这些基础课题以外,更重要是对大数据量类速(Volume, Variety, Velocity)处理能力的考量,这也是今天Hadoop的开源分布式平台受到全面青睐的原因。 要处理海量数据,包括语音、文本、视频、图像等多类型的数据,大数据平台就需要全面了解整个Hadoop生态圈内各式各样新工具的优缺点。
DT学院:数据仓库企业在大数据收集、整理、分析中目前是否有遇到技术瓶颈?您有什么高见?
林俊雄:大数据的关键是对数据量类速的处理,从传统的数据库以及传统工具改为往Hadoop为主的开源生态环境的大数据分析平台迁移。很多企业只知道大数据的开源免费这样的好消息,而忽略了开源免费其实就等于在支援和可靠性上面会付出相当大的代价。在Hadoop生态圈上,数据收集整理有非常多的选择,企业在采用这些工具方案的时候就必须要做更多更审慎的技术考虑,尤其是在技术支持上的考虑。例如在不同数据源或者串流数据源中去采集数据,就有非常多而不同的选项。虽然这不能够说是大数据技术的瓶颈,但是绝对是企业往大数据赶的时候,必须要非常重视的地方。
DT学院:您认为,数据仓库行业在大数据技术方面还有哪些发展和创新?
林俊雄:今天来说,我不会太过强调数据仓库作为一个行业,因为数据仓库一直只是提供数据分析应用的基础起点而已。而大数据技术的发展创新方面我觉得可以分几大块。
第一块还是能够让大数据平台完全取代今天传统数据库的高可靠性能的技术发展。 高可靠性能如果不能突破的话,大数据平台的应用还是会有相当大的局限。
第二块就是做分析的关键点:机器学习与深度学习的突破与创新。虽然大家都被AlphaGo战胜棋王吓了一跳,但是机器学习与深度学习走到今天已经整整20个年头了, AlphaGo对我们的日常应用还是毫无关联! 所以,如何把机器学习及深度学习从单一课题扩展到跨领域的应用,将会是最重要的创新发展。
第三块个人认为是把自然语言处理融合到前面的机器学习和深度学习中,这就是真正的人工智能的突破发展了。
DT学院:在培养大数据技术人才方面您有什么建议?如果想快速成为一个数据仓库人才需要学习哪些必备技能?
林俊雄:培养人才其实没有什么捷径。以个人这十多年来在国内数据分析行业的经验来看,关键还是动手实践的经验积累,这样才能成长为一个真正的人才。今天网络上的大量培训,可以给很多朋友一些入门的知识,这方面是肯定的。 但从入门菜鸟到真正的经验技术人才,还需要不同项目的实践经验。如果仅将短期工资的暴涨作为选工作的态度的话,则很难成为一个大数据分析的真正人才。
媒体支持
人民网、新华网、中国城市网、央视网、中国城市报、经济日报、中国新闻网、封面传媒、中国日报网、央广网、每日经济新闻、腾讯科技、新浪科技、搜狐科技、网易科技、中国大数据产业观察网、大数据科技视界、DT学院、199IT、数邦客、DT私享汇、 数据猿、中国大数据、大数据人、大数据文摘、大数据周刊、数据分析师、09大数据、研趣网、大数据中国、咕噜网、 界面新闻、 中国科技信息杂志社、今日头条