本文讨论了数据治理中数据分类的重要性,结合《华为数据之道》和《工业企业数字化转型之道》的分类方法,重新归类了数据。文章详细阐述了数据资产的多种分类方式,包括按所属权、数据存储特性、描述数据手段及数据库等分类,并深入探讨了各类数据的特点及管理重点。最后,作者提供了相关阅读资源和微信联系方式,邀请读者共同完善数据治理体系。
一、前言
想要做好数据治理,数据分类是必不可少的一步,因为不同分类的数据,其治理方法有很大差异。找了10多本数据治理的书,发现只有《华为数据之道》和《工业企业数字化转型之道》对数据分类有比较明确的定义和划分,结合两本书的分类和自己的经验把之前数据盘点内容按数据分类重新归类,让我对数据又有了新一层的认识。比如基础数据内容的变更通常会对现有流程、IT系统产生影响,因此基础数据的管理重点在于变更管理和统一标准管控。主数据的错误可能会导致成百上千的事务数据错误,因此主数据的管理重点是确保同源多用、重点进行数据内容的校验等。
二、数据资产分类
1 按所属权分
1.1 外部数据:公共领域获取的,客观存在,其产生,修改不受企业内部影响,比如国家、币种、汇率等;
1.2 内部数据:企业内经营产生的数据,在企业的业务流程中产生或在业务管理规定中定义,受企业经营影响,比如产品,合同等。
2 按数据存储特性分
2.1 结构化数据:可以存储在关系数据库里,用二维表结构表达实现的数据;
2.1.1 基础数据/码表/参考数据:用结构化的语言描述属性,用于分类或目录整编的数据,也称作参考数据和码表,通常有一个有限的可选值范围,静态数据,非常稳定,可以用作业务/IT的开关、职责/权限的划分或统计报告的维度,如合同类型,客户类型等;
2.1.2 主数据:具有高业务价值的,通常是业务事件的参与方,可以在企业内跨流程跨系统跨技术重复使用的数据,具有唯一准确、权威的数据源,取值不受限于预先定义的数据范围,在业务事件发生之前就客观存在,比较稳定,主数据的补充描述可以归入主数据范畴,如客户,合同,标的,车辆,供应商,员工基础配置,会计科目,组织机构,项目,产品,账户,物料,渠道,保单等;
2.1.3 事务数据/业务数据:用于记录企业经营过程中产生的业务事件,其实质是主数据之间活动产生的数据,有较高的时效性,通常是一次性的,事务数据无法脱离主数据独立存在,如拔打计划,拔打信息等;
2.1.4 观测数据/时序数据:通过观测工具获取观测对象行为/过程的记录数据,通常数据量较大,数据是过程性的,主要用作监控分析,可以由机器自动采集,数据是有时序的,一定带有时间戳,是结构化的,是极少更新操作的,数据源是唯一的,有保留期限的,数据查询和分析基于时间段和某一组设备的,数据量巨大等特性;
2.1.5 规则数据:结构化描述业务规则变量的数据,是实现业务规则的核心数据,规则数据不可实例化,只以逻辑实体形式存在,规则数据的结构在纵向和横向两个维度上相对稳定,变化形式多为内容刷新,规则数据的变更对业务活动的影响是大范围的,如决策规则,评分规则等;
2.1.6 报告数据/统计数据/分析数据:是指对数据进行处理加工后,用作业务决策依据的数据,通常需要将不同来源的数据进行清洗、转换、整合,以便更好地进行分析,比如维度,指标,收入,成本等;
2.2 半结构化数据:
2.3 非结构化数据:
3 按描述数据手段分
3.1 元数据:元数据通常分为三类,业务元数据,技术元数据和操作元数据。
·业务元数据:用户访问数据时了解业务名称、业务定义、业务描述,包括资产目录、Owner、数据密级等;
·技术元数据:实施人员开发系统时使用的数据,描述有关数据的技术细节、存储数据的系统,以及在系统内和系统之间数据流转过程的信息,包括物理模型的表字段键和索引、访问权限、ETL规则、集成关系等;
·操作元数据:数据处理日志及运营情况数据,包括调度频度,访问记录,批处理程序的作业执行日志,抽取历史和结果,审计、平衡、控制测量的结果,错误日志等。
4 按数据库分
4.1 关系型数据库:关系型数据库是采用关系数据模型的数据库系统;
4.2 非关系型数据库:非关系型数据库是对不同于传统的关系数据库的数据库管理系统的统称;
4.3 图数据库:图数据库是以图结构来表示和存储信息的数据库;
4.4 时序数据库:时序数据库是指时间序列数据。
三、结语
上面是我对数据资产分类的学习和思考,如果对您有启发,欢迎关注加我微信,我们一起思考,实战,完善数据治理体系。
延伸阅读
什么是指标,什么是标签,最本质的区别在哪?如何识别? | https://vip.kingdee.com/article/301317710653586688 |
一图了解企业级数据治理实战从哪开始 | https://vip.kingdee.com/article/298045897311439872 |
客户治理体系工作规划分享(上) | https://vip.kingdee.com/article/296233237334895872 |
客户治理体系规划分享(下)——经营管理角度 | https://vip.kingdee.com/article/296235564200537344 |
价值千万的5个数据治理经验(数字时代必修课) | https://vip.kingdee.com/article/294442922311954944 |
数据治理角度如何对数据资产进行分类? | https://vip.kingdee.com/article/298046814757088512 |
文章来源:【数据治理体系】微信公众号
发布于 数据智能 社群