数据是物理世界和虚拟世界联系的桥梁和纽带，也是我们探索和分析客观世界规律的重要指标，在我们利用数据进行分析研究时，必须要考虑的关键前提是数据的质量与可靠性。
在大数据时代，随着企业数字化转型的需求愈加迫切，数据驱动创新及数据创造价值的模式已成为企业转型的重要共识，在这个过程中，要求企业采用各种措施和方法，面向数据全生命周期不断加强质量控制，真正使数据发挥出应有的价值，为数字化转型提供坚强支撑。
数据质量管控背景
随着企业信息化的深入推进，各类信息系统大量建设和实施，有效地促进了业务生产效率和管理水平的提高，但是在数据应用时发现数据的准确性、一致性、及时性、可用性等方面还存在不少问题，如数据来源存在错误，难以通过规范进行判断和约束，业务规范缺少或执行不力；系统已设定字段，但在实际操作中并未完整采集该字段数据，导致数据缺失或不完整，未在系统中设定对应的取数字段；系统间应该相同的数据却不一致，缺乏必要的联动和核对；缺少相关的数据处理、加工规则或数据模型的应用功能，数据分散，不易有效整合和共享等。
这些数据问题无法很好地展现企业的实际情况，影响了数据的集成共享、统计分析、价值发现等应用。
在大数据的时代，数据存在规模庞大、类型多样、流转速度快、价值密度低等特性，为充分发挥大数据的作用，必须确保数据质量可靠，大数据应用必须建立在质量可靠的数据之上才有意义，建立在低质量、错误数据之上的应用不仅不能为企业所应用，甚至可能导致经营决策的失败、工艺技术的错误、营销方式的差异、产品功能的失效，在一定程度上降低企业核心竞争力。
因此，数据质量正是企业应用数据的瓶颈，高质量的数据可以决定数据应用的上限，而低质量的数据则必然拉低数据应用的下限。
数据质量管控措施
数据质量管理是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列活动，力争将数据问题控制在最初状态。
1、数据采集质量管控
在大数据采集环节，企业可规范信息系统的设计，统一技术架构选型和元数据标准，严格控制手工输入的源数据，以及批量导入的源数据校验，采取数据输入校验、数据阈值、系统自动校验/人工手工复核、强制规则校验等预防性控制措施，防止错误数据的产生，减少问题数据向下一级环节的输入。
2、数据加工和应用管控
在大数据加工和应用环节，企业可制定数据加工标准规范，采取数据输出校验、数据一致性校验、系统自动校验、非强制/错误及差异提示等控制措施，对输入的错误数据进行监测，验证数据完整性、一致性和准确性等，发现并指明数据质量问题，进行质量报警，提醒相关人员排查并处理问题数据。
3、系统建设管控
为有效提高数据质量，企业应定期更新维护数据字典，将质量问题控制贯穿于系统设计、开发、测试、实施等全过程，将可检测的质量性能要求作为测试环节的内容明确下来，将错误提示信息、错误路径、检测方法或算法等作为设计开发内容明确下来，同时在实施过程出具质量控制分析报告，降低从建设环节发生的问题数量。
数据质量管控建议
企业在推进内部数据质量提升活动中，应坚持以“业务引领工作”、“技术与管理相结合”的思路，落实标准规范和管理制度，确定管控范围，动态调整管控重点，界定数据生命周期各环节质量责任，明确相关岗位或责任方的要求，在管理的同时采取系统程序的控制措施前移管控点。
1、推进数据标准制定和落实
企业应充分调研业务需求，以数据质量管控为出发点，分析数据生命周期各监控点，抓紧制定和完善元数据标准、主数据标准、业务数据标准、主题数据标准、数据交换标准、数据安全标准等相关规范，构建企业数据标准体系，严格要求在新建系统中落实实施，对既有系统进行改造和完善，从而不断提升数据质量和利用效率。
2、加强质量过程检查和考核
企业应进一步加大数据治理和管控，明确数据质量管控要求和量化考核指标，加强对数据质量重要性的宣传教育，加强对相关员工的知识和技术培训，不断探索和优化技术检查和监测方法，通过组织评比、定期通报、总结分析、经验交流等多种方式提高相关人员的数据治理技能和水平。
3、探索建立数据管理部门
企业应在传统的信息化部门之外，结合数字化转型的推进力度及大数据的应用情况，研究探索建立专职的数据管理部门，明确在标准制定、质量管控、价值利用、监督检查等方面的职责要求，配备和锻炼专门的数据规划人员、数据管理人员、数据应用人员等，提升数据再驱动创新及转型发展过程中的作用。
结语
数据质量管控关系到大数据应用效果和数字化转型的成效，是企业转型升级过程中需要重点关注的内容，要求企业从技术和管理方面加强标准、制度和组织建设，推进数据全生命周期质量管控，加大数据治理，落实各级数据责任，降低问题数据发生概率，为成功实现数字化转型奠定坚实的基础。
联系我们请点击：
数邦客
