大数据治理技术：技术视角下的大数据治理

　　编者按

　　随着大数据发展重心从行业应用转向数据服务，大数据治理成为各界的关注和研究热点。本文抛砖引玉，从技术视角解析大数据治理技术体系和治理模式，提出了包含数据、平台和应用的三层架构技术体系，梳理总结了四种大数据治理模式。

　　一、大数据治理背景和需求

　　根据Gartner最近几年发布的大数据发展分析显示：2011-2013年，出现了大数据建设高潮；2014-2016年，大数据转向应用阶段，行业应用成为发展重点；2017开始，大数据转向数据服务阶段，数据成为基础性战略资源，但数据质量、数据安全、隐私保护、共享开放等问题日益突出，数据治理开始受到高度关注并引发各界深度思考。梅宏院士针对大数据治理提出，“从营造国家大数据产业发展环境的视角构建一个大数据的治理体系及相应技术支撑体系建设等”若干建议。

　　目前，各界均意识到大数据治理的重要性，主要存在两方面需求：

　　（1）内部需求

　　在经历过大数据平台建设和应用发展阶段之后，企业的重心开始关注如何使用数据，即数据服务。但目前普遍存在的数据质量低、不规范、不安全等现象，严重影响了数据的利用，已经成为所有企业迫切解决的问题。

　　（2）外部需求

　　外部需求主要包含两个方面，一方面来自监管需求，尤其在数据开放、共享、交换、规范、审计、安全隐私等方面，如银保监会发布《银行业金融机构数据治理指引》，规范银行业金融机构的数据管理活动；另一方面，来自市场竞争压力，企业需要借助大数据提升产品、业务、服务、管理等创新能力，保障企业的市场竞争优势。

　　二、大数据治理技术

　　大数据治理，既需要组织、制度等提供治理保障，也需要工具、平台等技术支撑。大数据治理技术是将数据管理、制度、流程、组织等治理要素融入技术，支撑数据治理工作落地，包括技术体系和治理模式两个维度。利用大数据治理技术，不仅可以显著提升数据治理能力和治理工作效率，还能降低数据治理成本。

　　1.大数据治理技术体系

　　为了更好的指导数据治理技术建设，需要一个顶层的技术体系设计。基于目前国内外研究成果，我们认为目前的大数治理技术体系应该包括三个层面：（1）数据治理。即以数据为核心，从元数据、标准、质量、安全、主数据等方面，为数据提供全生命周期治理。（2）平台治理。即以平台为核心，结合平台类型、业务、治理需求等，将对应的治理技术，融入大数据平台的采集、存储、计算等过程，实现对大数据平台管理过程的治理。（3）应用治理。即以应用为核心，结合应用类型、业务、治理需求等，将对应的治理技术融入大数据应用工具，实现对大数据应用过程的治理。

图1  大数据治理技术体系

　　2.大数据治理模式

　　大数据治理技术种类多样、功能各异，不同技术的相互融合会带来更好的效果，因此，治理模式的选择显得尤为重要。梳理目前的市场需求和应用现状，可总结出四种数据治理模式。

　　（1）元数据治理模式。元数据用于描述企业数据的各方面特征信息，是数据标准、数据质量、数据安全等治理的基础。通过对业务、技术及过程的元数据治理，能够帮助企业建设数据资产的统一视图，实现数据资产的盘点和展示。元数据治理模式以元数据治理为核心，同时融合数据标准治理和数据安全治理，以确保元数据管理服务的规范性和安全性。

图2  元数据治理模式

　　（2）质量治理模式。数据质量可影响决策的成败，可谓差之毫厘、谬以千里，因此数据质量对企业发展至关重要。数据质量治理通过质量检核指标的制定与维护、数据质量告警、质量问题的分析和管理等，实现对数据的绝对质量管理与过程质量管理。质量治理模式以数据质量治理为核心，同时融合数据标准和数据安全治理，以确保数据质量管理服务的规范性和安全性。

图3  数据质量治理模式

　　（3）安全治理模式。数据安全通常包括数据访问、数据使用、隐私数据、安全审计等。数据安全治理是利用数据加密工具、数据脱敏工具、数据库安全工具、数据防泄漏工具、数字水印技术、身份认证技术等保障企业数据的安全。安全治理模式以数据安全治理为核心，同时融合数据标准治理，以确保数据安全管理服务的规范性。

图4  安全治理模式

　　（4）主数据治理模式。主数据是企业真实的、关键的业务数据。针对这些核心关键数据，对于其质量、一致性、可用性、管理规范等，都有着最严格的数据要求。主数据治理通过对业务数据的整合、管理，提供数据建模、数据地图、数据集市和数据全生命周期管理。主数据治理模式以主数据治理为核心，融合数据标准、数据质量和数据安全治理，以确保主数据管理服务的规范性、高质量和安全性。

图5  主数据治理模式