中国的大数据利用率只有0.4%!9月7日,第五届中国云计算大会的“大数据及人工智能”分论坛上,相关专家的数据公布让人们不禁为中国大数据领域的应用担忧。如何有效利用大数据,打造新型的智慧城市过程中大数据的重要地位,怎样让大数据与人工智能更好地服务企业,助推中国经济发展。现场的行业大咖们各抒己见。
论坛上,大数据算法与分析技术国家工程实验室社会大数据分析与应用中心主任赵玺,北京供销大数据集团首席信息官杨正洪,北京开数科技有限公司总裁熊梓楷,PingCAP工程部副总裁沈砾和京东资深云架构师石颖,分别做了主题分享。
身处数据研究机构,基于学术层面,赵玺主任的分享更具有宏观和指导意义。
“不可否认,互联网和云计算的深度发展,为我们的数字空间提供了骨架,而大数据又为数字空间提供了血和肉,我们越来越明显地感到并列于我们物理空间的同时又一个网络空间或者是数字空间在快速的发展。计算社会学,就是当代社会学界借助互联网、云计算、生物剂量等现代科技手段,利用大数据、机器学习来获取与分析数据,从而研究与解释社会的一种新的方式。现在的社会学界想研究社会,但是缺乏手段和工具,但是大数据和云计算的方式,他们可以对人类了行为或者社会运行规律达到真实准确的认知。”赵玺主任分析认为,学术界里有很多代表性的研究,包括组织内部的邮件数据研究人们的互动行为,利用搜索数据分析流感的发病率与传染情况,利用社交网站测量人的健康、心情、性格与行为方式等变量,利用家庭视频检控对婴儿成长数据进行分析,研究社交情境对婴儿的语言学习影响等。
“所以,在计算社会科学,我们看到很多的发展空间和潜力,那主要发展路径是什么呢?第一,还是落到我们大数据和云计算上,大数据的获取与解析。第二个路径是人工处理与计算机方法的融合应用。另外还有社会互互联网的研究,这种研究范式包括腾讯、京东他们都在用这方面的研究来做实例测试。最后,新型社会集散工具的研制与开发,这和我们大数据底层的技术是相关比较大的,一方面是自动化数据获取工具,数据分析算法,数据分析平台,可视化方法,我们做的可能偏数据分析方法和可视化方法。我们工程研究中心主要现在用的是关于人的手机上的行为数据,来做相关的研究。因为在2009年的时候,nature发现手机已经遍布全国90%以上的人了,所以这样的非常有研究价值,这是一个人一天的行为数据。意大利的一些电信运营商已经公开了这部分数据来供研究。我们可以看到,用这样的数据可以做到很多领域的应用,包括人道主义救援,公共卫生管理,气象灾害应急,农业食品安全,交通城市规划,能源和国家调研统计,这样的数据都可以用到这些领域里面。”
北京供销大数据集团首席信息官杨正洪,在论坛上分享了企业大数据管理平台的架构和整体运营思路。
北京供销大数据集团的大数据建设整体架构分成三层。自下而上,第一层是大数据的基础平台,也叫云平台,包括了计算资源、存储资源、网络资源和大数据的一些基础的架构;第二层是大数据管理平台,主要是从很多的业务系统整合数据,管控数据,然后提供数据;第三层是对数据做分析,使用如机器学习、挖掘算法等新技术。“要建设好大数据,需要组织保障,制定标准规范体系,而当所有数据整合时,数据信息安全就显得十分重要。以上就是大数据建设的总体架构。”
杨正洪在讲解了企业的大数据平台构架后,以保险行业客户为例做了详细的分析。大数据平台在新型智慧城市中占据怎样的位置?建设大数据管理平台,实现整个的数据整合、管控和服务,一般需要几个系统?大数据管理平台软件提供商需要提供哪些软件?北京供销大数据集团的大数据管理平台经验分享可谓是干货满满,也让更多的人意识到大数据的价值。
但是,企业对大数据的利用普遍偏低,而且企业也不知道应该怎么去挖掘数据价值。对此,开数科技总裁熊梓楷给出了自己对看法和经验。
“大数据应用”痛点首先出现在数据的整合领域。“我们之前做过战略、咨询、金融,还有其他的创业经验,我发现,企业数据存在不同的数据库,不同的系统是不同的供应商建设,每个系统不相通,大家的数据无法统一。对此,我们做了第一件事就是数据整合。”熊梓楷说,但这涉及到两个非常关键的因素:做数据整合的人都非常懂业务;数据必须是非常容易可得的,电子化的。
随后,熊梓楷从三个场景分析了如何解决大数据应用上的问题——定位和预测、通过人工智能的算法预测场景未来的表现、如何用人工智能算法匹配外部和内部的数据,发现更多的商机。
PingCAP的工程部副总裁沈砾,基于公司的数据库业务,带来了《数据库在场景下的应用》主题分享。在沈砾看来,数据库存发展了几十年,从1970年开始就有各种数据库出来,比较优秀的商业代表DP2,有一些Mysql,这些数据库在支撑业务发展的过程中起了很多的作用。但是这些数据库随着业务量不断扩大,出现了计算资源不够等问题。
对此,沈砾详细讲解了企业所提供的行之有效的解决方法,如正在计划做code generation,优化分布式计算引擎支持更加复杂的算法,此外,还做了存储引擎等。“不管是我们的分布式计算框架,还是比较强大的SQL优化器,还是从上到下的包括SPark的扩展,还有我们要做的事情,我们只是想通过这样的手段,使不同的业务在一套场景中做的更好,让大家不用忍受数据报表的延迟,更快更好的得到数据。”
京东资深云架构师石颖重点分享了京东在人工智能落地的商业和技术实践经验。石颖认为,推进京东在未来的12年成为一个新的智慧的商业体,其中人工智能的力量显然是不可忽视的。首先,电商场景。电商可以说是京东在人的心目中是最深刻的,甚至是唯一的印象。人工智能技术在这里的应用,已经覆盖了从电商入口,到用户购买的场景,再到支付阶段,还有用户评价体系等,甚至可以做到千人千面的精准营销。
石颖的介绍中最让人关注的是京东在金融场景下的相关应用。“实际上,我们金融有九大板块,供应链金融、消费者金融、支付、农村金融,还有一些信贷和保险方面,已经形成了非常完整的一个生态系统。在这里,我们现在用的最多的是人工智能技术中的风控系统,如安全魔方。在安全魔方上,我们会依赖庞大用户网购的行为数据,构建风险量化平台。”
此外,物流方面,京东物流是中国国内,甚至全球唯一一个具有中小件、大件和冷链三套业务体系的物流公司。除了有数据中心的整个机器学习的基于服务器的后台系统之外,物流体系还涉及一些边缘计算。“京东是要搭建全国第一个低空基于无人机的干线物流网,我们会在不同的机场建立我们的配送点,在这干线上面使用无人机进行货物搬运。无人仓内,机器人的款式就有很多,堆垛机或者是传送带自动识别的一些东西,他们都非常广泛应用机器人自动识别的技术等。以上就是我们的京东的大数据在我们自己企业内部的应用场景。”
而支撑京东如此庞大智能化运转的就是“京东云”。它目前拥有大概20万的最大集群规模的集群,在数据处理能力上每天超过15P。目前活跃用户是2.58亿。
构建云架构,利用大数据和云计算提升企业的业务效率,充分利用人工智能化提高企业生产效率,更好的服务客户,云时代给了人们更加广阔的想想和发展空间。而知名企业大咖们的现身说法,也让到场的行业技术人士、企业代表们对大数据的应用和实践有了更为清晰的认识,拓展了企业发展的数据化、智能化运营思路。