智慧城市建设一项复杂的工程,涉及的数据内容和来源十分广泛,按照数据在应用中承担的角色,把数据整合内容划分为地图数据、社会公共数据、行业数据三类,并将整合后的地图大数据资源定义为“地图大数据资源池”。地图大数据资源池是智慧城市信息化建设的基本内容,是大数据平台及大数据资源的核心组成部分。地图大数据资源池从空间维度来展示信息化数据,在政府和企业中应用广泛,是核心的数据基础设施。
地图数据按智慧城市业务应用维度划分包括基础地形库、地下管线库、地下空间库、影像数据库(卫片、航片)、城市三维数据库、地名地址及行政区划数据库等,这些基础数据都有较为成熟和完善的标准化体系,是城市测绘行业的基础业务。地图数据按数据类型维度划分为不同比例尺矢量地图、不同精度遥感影像地图、全景地图、三维地图、倾斜摄影地图、激光雷达等类型数据。在当前的智慧城市建设中,矢量地图的应用以城区1:2000(部分城区1:500)为主,遥感影像以0.5-2米精度为主。
社会公共数据包括公共互联网数字资源及企业公开数据资源,包括旅游资源数据、房产交易数据、企业信息数据及人流动位置分布数据等等,也包括更多的经济、自然地理、民生、政务等数据。在建设意义上,社会公共数据为政府部门和企业在数据获取上提供了高效渠道,可以很方便地获取所需要的空间数据资源,同时,在建设及运维费用上的开支也大大缩小。
行业数据主要来源为政府委办局和行业应用建设的企业,在智慧城市建设的行业应用中,需要大范围地进行数据空间化整合,也需要大量的地图可视化工具及制图工具为行业服务,一方面可以为委办局的工作人员生成业务专题地图,方便业务的管理和决策;另一方面也有助于推动可开放的数据在社会中的应用,起到更积极的信息推广作用。
基于地图大数据的智慧城市数据整合后的社会公共数据和行业数据,是对行业大数据的建设空间补充,将非空间数据按空间属性(如地址、行政区划、地理坐标、地理网格等)进行空间化成图,其主要作用主要表现在两个方面:
1)空间可视化表达。利用计算机图形图像处理技术,将智慧城市业务数据图形化表达的。
2)空间分析与决策支持。挖掘数据的空间维度数据,建立与空间区域位置相关联的分析模型,为智慧城市在灾害预警评估、风险评估、城市应急、公共安全等方面提供直接决策依据。
典型的以地图大数据资源池为核心的智慧城市应用体系包括云基础设施、地图大数据资源池、地图大数据服务等几个部分内容,具体内容见下图:
1.2地图大数据资源池构建
地图大数据资源池是将智慧城市应用的各类数据进行集中整合,是共享或者合并来自于多个部门、业务和应用的数据,创建一个以地图为核心载体的数据资源中心。
从整合手段来看,主要包括业务逻辑整合、云服务存储逻辑整合、数据服务整合和数据应用整合。
1.2.1业务逻辑数据整合
业务逻辑数据整合主要是利用空间化的方法将业务数据与空间数据或空间地理坐标进行关联,具体方法包括:
1)地名地址关联。在包含有地名地址类的业务数据中,首先要将地名地址数据按规范进行清洗,再进行地址分词,最后按分词关键字与地图数据进行匹配。
2)行政区划匹配。在包含行政区划的数据中,提取行政区划内容,进行标准化,与地图中的行政区划进行关联。
3)编码映射关联。在业务数据与地图数据中均包含的相同对象的编码时,由于使用的编码规范往往不一致,需要建立编码的对应映射关联。
4)地理坐标匹配。一些业务数据中也包含了地理坐标,但由于地理坐标的来源和参数坐标,不进行整合处理也无法匹配。例如有的数据来自GPS设备定位坐标、有的数据坐标来自百度或高德等互联网地图坐标、有的数据来自测绘或规划的局部坐标。坐标系统的标准化和转换是地理坐标匹配的首要任务。
业务逻辑数据整合的难点常常是在于数据的版本更新、历史数据、数据质量等方面。不论是地名地址、行政区划还是编码,一般都会随时间更迭产生变化,或者是版本的更新,而业务数据与所对应的位置参照信息是与业务数据产生时的位置信息参照版本对应的,因此,在处理智慧城市的时态数据时,数据的演化演变规律挖掘首先要解决位置参考信息的时态变更问题。
1.2.2云服务存储与服务逻辑整合
城市地图大数据资源库的建设包含地图数据与服务、数据接口两个核心任务,在数据整合模型中需要更多地考虑数据的空间相关性,在技术上与传统的数据中心或大数据汇聚有较大的区别,在存储上所应容纳的数据类型需要更加丰富且要保持极好的扩展能力,在计算和分析逻辑上,还需要解决现有常用大数据基础平台(Hadoop、Spark等)对空间数据的支持能力,在数据整合时要需要确定那些数据和计算要在云平台上进行,哪些数据和计算需要在集群环境下进行,而且存储逻辑应方便于计算。
智慧城市数据按类型分为地图数据、结构化与半结构化(数据库)、非结构化数据(文本数据、多媒体数据等),存储与服务的结构图如下:
2.1服务于政务
在互联网和大数据等技术支撑下,政府机构日常办公、信息收集与发布、公共管理等事务的办公模式上已逐步发生了变化。它包含多方面的内容,如政府办公自动化、政府部门间的信息共建共享、政府实时信息发布、各级政府间的远程视频会议、公民网上查询政府信息、电子化民意调查和社会经济统计等。
以地图大数据为核心的政务管理的关键变化在于空间数据的应用范围正在飞速扩大,空间数据对政务决策的支持也逐步扩大。政务管理的基本单元是行政区划,行政区划本身就属于具有空间形态属性,因此政务管理的事务大多与空间相关,例如工商管理、经济管理、招商管理等,因此,政务数据空间整合后的服务能力和业务支撑能力有了飞跃式的提高。
2.2服务于行业
智慧城市的建设的本质目标是提升城市的管理与治理能力,因此是离不开城市管理的各个行业的智慧化建设,例如交通、城管、环保、公安、水利、电力、田土等。用地图大数据作为行业数据链接的载体,将城市分散的行业数据以地图为中心集中整合,在高效满足行业数据应用的同时,又能极大地提升行业或部门间数据共享能力。
基于企业的地图大数据服务模式主满足了不同用户需求、应用场景的需求,一是促进地理信息广泛应用,二是大大降低用户成本,三是都实现了服务云端化。地图大数据是智慧城市行业数据整合的新模式。
2.3服务于公众
在互联网和大数据高速发展的自媒体时代,公众对于数据服务的依赖也是日益迫切,特别是关系民生的领域与突发事件领域,官方的权威数据的及时发布不仅仅是公众的定心丸,在很多时候更是处理应急事件的重要手段。城市地图大数据为公众重点解决两个方面的问题,一是关系民生的生活信息实时获取,二是及时准备的权威数据服务。
结束语
传统的城市数据中心或信息共享服务的难点是在于各个部门的数据开放和共享,一是政府内部各个行业部门间的数据开放和共享,二是政务和行业数据对公众的开放和共享。在城市地图大数据的建设中,当然也不可避免地遇到这些共享,但在城市地图大数据整合中,重点是从空间维度来进行数据整合,数据的开放程度依然由数据负责部门主导,从不同部门进行分步整合,整合后的数据由于空间相关性,进行了空间维度的关联,为应用提供了极大方便。
基于地图大数据进行智慧城市的空间化整合,形成城市地图大数据资源池,为政府、企业和公众提供集中的数据服务服务,形成了智慧城市建设的数据基础设施,是智慧城市建设的数据服务新模式。