数据需求的管理主要是项目级体现,没有统一管理流程
项目级
组织已经意识到数据是资产,制定了部分数据管理规范,设置了相关岗位,组织了初步的数据集成工作,开始了一些重要数据的文档工作,对重要数据的安全、风险设计相关的管理措施
部门级
数据已被当做实现组织绩效目标的重要资源,在组织层面制定了统一的数据管理制度和流程,组织内部建立了数据管理的规章制度,建立数据管理相关的组织、管理流程,有独立的数据战略,组织层面统一开展数据质量、数据安全工作,参与行业数据相关培训,具备数据管理人眼
组织级
数据被认为是获取竞争优势的重要资产,数据管理的效率、效益能量化分析和监控,组织层面建立了可量化的评估指标体系,参与国家、行业等相关标准的制定工作,量化数据分析的收益,借鉴行业最佳案例、国家标准
量化级
数据被认为是组织生存和发展的核心资产,组织将数据作为核心竞争力,主导国家、行业等相关标准的制定吗,能将组织自身的数据管理能力的建设经验作为行业最佳案例进行推广
优化级
概念术语
数据治理
数据架构
数据开发
数据操作
数据安全
参考数据和主数据
数据仓库和商务智能管理
文档和内容管理
元数据管理
数据质量管理
数据标准的强调非常少,DCMM把数据标准作为核心管理内容
缺乏数据安全的规定,DCMM强调数据安全,是数据管理中的重要因素,涉及企业、行业、国家的安全
DMM缺乏数据应用内容,数据应用是数据价值的体现,DCMM从数据分析、开放共享、数据服务等方面对数据应用进行规范
DMM缺少数据架构中的数据模型相关的内容
数据质量,DCMM不仅对错误进行更正,还提出了预防
数据战略,DCMM强调了落地、修订,实现战略管理的闭环
数据治理,DCMM更新专注于治理本身,内容划分更合理
起步
扩展
控制
集成
数据管理
成熟
针对国情,在数据治理之上,强调数据战略的统领作用
强调数据应用的重要作用,引导企业开展数据开放
强调数据标准和架构规范作用,解决数据孤岛的根因问题
详细的评估模型,帮助企业有效分析现状和选择治理方向
帮助地方大数据主管机构掌握各单位大数据管理和应用现状
推动企事业单位构建企业级数据管理体系,加快企业数字化转型
定义:数据战略是组织开展数据工作的愿景、目的、目标和原则
利益相关者,是受组织数据战略制定、执行所影响的内外部相关者。外部利益者:监管部门,内部:公司领导层、业务部门管理者、一线营业厅员工
业务案例:基本的用例模型、项目计划、初始风险评估和项目描述,能够确定数据管理和数据应用相关任务(项目)的范围、活动、期望的价值、以及合理的成本收益分析
数据管理原则是数据管理方面沟通和行为所依据的准则或者规范
数据是组织资产、统一归口管理、业务对数据负责、遵循统一的规范、定义单一数据源
数据战略评估过程中对各个项目成本收益情况进行分析,同时也要阶段性的开展预算执行情况分析,分析数据战略的落地执行过程是否可以达到相关的预期,基于这些财务的分析信息可以了解各类项目的成本效益情况,进而帮助组织来分析各项任务的优先级,更好的制定组织数据战略的实施线路图
定义:数据战略规划为组织数据管理工作定义愿景、目的、目标和原则,并且使其在所有利益相关者之间达成共识,从宏观和微观两个层面确定开展数据管理及应用的动因,并且综合反映数据提供方和消费方的需求
目标:1. 建立、维护和遵循数据管理战略
2. 针对所有业务领域,在整个数据治理过程中维护数据管理战略
3. 基于数据的业务价值和数据管理的愿景,识别利益相关者,分析各项数据管理工作的优先权
4. 制定、监控和度量后续计划,用于指导数据管理规划实现
主要输入:1. 业务战略
2. 信息化战略
3. 信息化现状
4. 组织架构
主要工作内容:1. 识别利益相关者
2. 数据战略需求评估
3. 数据战略制定
4. 数据战略发布
5. 数据战略修订
交付物:1. 数据战略
2. 数据战略资源保障
3. 数据战略建设线路图
定义:组织完成数据战略规划并逐渐实现数据职能框架的过程,实施过程中评估组织数据管理和数据应用的现状,确定与愿景、目标之间的差距;依据数据职能框架制定阶段性数据任务目标,并确定优先级实施步骤
目标:1. 检查数据战略落实情况,定期对实施情况评估
2. 对现状和发展目标进行对比,分析存在差距,明确发展方向
3. 推动战略实施,根据存在的差距,结合组织的共同目标和实现商业价值,对数据职能任务优先级排序,提供资源和资金保障,推动战略实施
主要输入:1. 数据战略
2. 信息系统清单
3. 业务需求
4. 数据问题清单
主要工作内容:1. 制定评估准则
2. 开展现状评估
3. 评估差距
4. 实施路径
5. 资源保障
6. 任务实施
7. 过程监控
交付物:1. 数据现状分析报告
2. 阶段性数据任务计划
3. 数据工作的资源保障
4. 数据战略实施报告
定义:数据战略评估过程中应建立对应的业务案例和投资模型,并在整个数据战略实施过程中跟踪进度,同时做好记录供审计和评估使用
目标:1. 建立数据职能项目的业务案例,符合组织目标和业务驱动要求,帮助项目获取执行层面的支持,同时为投资模型提供参考
2. 建立一个或一组可持续的投资模型,满足组织文化和业务案例需求
3. 遵循投资模型,进行合理的成本收益分析,同时项目资金支持反映业务目标和组织优先级考虑
4. 对业务案例、资金支持方法和活动的记录、跟踪、审计、后评估
主要输入:1. 数据战略任务计划
2. 数据任务的财务信息
3. 数据现状分析报告
主要工作内容:1. 建立任务效益评估模型
2. 建立业务案例
3. 建立投资模型
4. 阶段评估
交付物:1. 业务案例
2. 数据战略评估报告
3. 数据战略修订
定义:对数据进行处置、格式化和规范化的过程
制定治理原则、目标
重大事项的决策和协调
审定数据治理政策、制度
组织、推动和协调数据治理工作
向决策层汇报数据治理相关重大事项
数据治理日常工作事项进行协调推动
负责各相关职能域的相关制度、流程和规范的起草、修订
按照管理制度和职责,进行各职能领域日常执行、管理和维护工作
开展各类数据管理专项工作:数据质量、数据标准,数据开发和设计、数据安全等
评估数据管理政策和制度的执行和落实情况
推动数据管理相关问题的整改
集中式
分布式
联邦式
定义:数据归口管理就是明确数据所有人、管理人等相关角色,以及数据的归口的具体管理人员
工作内容:1. 明确数据管理的归口管理部门
2. 明确各类数据的归口管理部门
定义:数据治理组织包括组织架构、岗位设置、数据责任等内容,是各项数据职能工作开展的基础,对组织在数据管理和数据应用行使权利进行规划和控制,并指导各项数据职能的执行,以确保组织能有效的执行数据战略目标
主要输入:1. 数据战略
2. 数据需求
3. 各部门的权责与绩效指标
4. 机构文化规范
工作内容:1. 建立数据治理组织
2. 设置数据治理岗位
3. 建设数据治理团队
4. 数据归口管理
5. 建立绩效评价体系
交付物:1. 数据治理组织架构
2. 各部门数据治理工作的权责
3. 数据管理归口部门组织
4. 数据治理相关岗位
定义:数据认责是企业在数据治理组织的权责关系基础上,为进一步指导、规范、明确各类业务数据的归口管理责任关系,而开展的责任认定、追责、责任变更、责任履行评价等管理工作。业务对数据的归口管理责任包括:数据标准、数据质量、数据安全三大责任
明确数据定义
制定数据标准
制定质量规则
制定安全规则
监控相关数据问题
为数据管理提供技术支持
推动数据架构、标准和规则等内容的落地
执行数据管理规则
录入各项数据
解决相关数据问题
定义:保障数据管理和数据应用各项功能的规范化运行,建立对应的制度体系,数据制度体系通常分层设计,遵循严格的发布流程,并定期进行重检和更新
主要输入:1. 数据战略实施路线
2. 数据运营需求
3. 数据治理组织
4. 法律法规
主要工作内容:1. 建立数据治理制度框架
2. 建立数据治理制度内容
3. 发布数据治理制度
4. 宣贯数据治理制度
5. 实施数据治理制度
交付物:1. 数据治理政策
2. 数据治理办法
3. 数据治理细则
4. 数据安全分级分类管理办法
5. 数据合规策略
法规、前提、假设、理念,行为规则或准则
数据管理和应用的目的,明确组织与范围
对任务的高阶描述,每一个任务的责任方
详细描述如何完成每个任务
定义:数据治理沟通旨在确保组织内全部利益相关者都能及时知悉相关政策、标准、规范、流程、角色、职责、计划的最新情况,以及各项数据职能任务的进展状态,数据治理沟通是建立有效职能运行机制的关键,需要支持跨部门、条线数据管理能力的建立与提升
输入:1. 数据治理组织
2. 数据治理制度
3. 数据治理的运营需求
4. 员工职业晋升线路图
工作内容:1. 建立沟通路径与渠道
2. 建立沟通计划
3. 执行沟通
4. 建立问题协商机制
5. 制定与实施培训宣贯计划
交付物:1. 数据治理沟通计划
2. 利益相关者列表
3. 数据问题升级路径
4. 数据治理沟通内容记录
5. 数据治理外部沟通方式、对象和内容
定义:数据架构是用于定义数据需求、指导对数据资产的整合和控制、使数据投资与业务战略相匹配的一套整体构件规范,数据架构包括正式的数据命名、全面的数据定义、有效的数据结构、精确的数据完整性规则、以及健全的数据文档
定义:数据模型是使用结构化的语言讲收集到的组织业务经营、管理和决策中使用的数据需求进行综合分析,按照模型设计规范将需求重新组织在一起
主要输入:1. 业务架构
2. 各系统数据模型
3. 数据需求
4. 信息化现状
工作内容:1. 收集和理解组织数据信息需求
2. 制定模型规范
3. 开发数据模型
4. 数据模型应用
5. 一致性检查
6. 模型变更管理
交付物:1. 数据模型规范
2. 组织级数据模型
3. 数据模型管理办法
较高层次上将数据进行综合归纳和分析,每一个主题通常对应一个宏观的业务分析领域
概念模型以实体-关系理论为基础,通过主题域形式描述概念化的结构
是一种高阶的数据模型
对概念模型进一步分解和细化,通过关键数据属性描述更多细节
描述实体、属性以及实体关系
质保函关键数据属性
遵从第三范式,以求达到最小的数据冗余,维护数据的完整性和可扩展性
独立于具体技术,是IT人员和业务人员沟通的工具
应用逻辑模型
应用物理模型
定义:数据集成与共享是建立组织内各应用系统、各部门之间的集成共享机制,通过对于组织内部数据集成共享相关制度、标准、技术等方面的管理,促进组织内部数据的互联互通
点对点模式
中心辐射模式
总线分发模式
物理整合ETL、ELT和CDC
虚拟整合
面相主题的、集成的、相对稳定的、反映历史变化的、用于支持管理抉择和信息的全局共享
各种原始数据的大型仓库
数据采集交换、共享融合、组织处理、建模分析、管理治理和服务应用于一体
定义:数据分布是针对组织级数据模型中数据的定义,明确数据在系统、组织和流程方面的分布关系,定义数据类型,明确权威数据源,为数据相关工作的提供参考和规范,通过数据分布关系的梳理,可以定义数据相关工作的优先级,方便指定数据的认责管理人,并进一步优化数据的集成关系
输入:1. 业务流程
2. 业务系统信息
3. 组织架构
工作内容:1. 数据现状梳理
2. 识别数据类型
3. 数据分布关系梳理
4. 确定数据的权威数据源
5. 数据分布关系的应用
6. 数据分布关系的维护和管理
交付:1. 数据分布管理规范
2. 数据分布关系存储库
3. 权威数据源清单
CURD矩阵
目标:1. 对组织的数据资产建立起分类管理机制,确定组织数据的权威数据源
2. 梳理数据和业务流程、组织、系统之间的关系
3. 规范数据相关工作的建设
定义:元数据是“关于数据的数据”,即对数据的描述信息,元数据管理是关于“元数据”的创建、存储、整合与控制等一整套流程的集合
对数据的业务化描述,主要包括业务描述、业务规范,相关的业务术语和标准 1. 数据集、表和字段的定义描述;2. 业务规则、转换规则、计算公式和推导公式3. 数据模型的描述和构成。。
数据结构急关系的技术化描述,是用于开发和维护经营分析的基础信息,主要包括源系统接口规范、数据库库表结构描述 1. 物理数据库表名和字段名;2. 字段属性; 3. 数据库对象的属性;4. 数据CURD规则
对数据处理加工过程的描述,如ETL、存储过程、流式计算程序等 1. 批处理程序的作业执行日志;2. 抽取历史和结果;3. 调度异常处理;4. 错误日志
运维和管理相关信息的描述,主要包括管理流程,人员职责、工作内容分配描述等信息
定义:数据质量重点关注数据质量需求、数据质量检查、数据质量分析和提升的实现能力,对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题进行识别、度量、监控、预警等一系列活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高 数据完整性
数据一致性
数据有效性
数据准确性
数据唯一性
1. 准确定
2. 完备性
3. 一致性
4. 完整性
5. 合理性
6. 及时性
7. 唯一性/数据去重
8. 有效性
数据质量规则
数据质量需求
最大、最小、空值、数据类型格式、最长
依赖性剖析,内部字段之间的关系
表与表之间的数据,确定重复数值集,判断数据一致性
1. 建立根本原因分析团队:数据人员、业务人员、技术人员
2. 问题定义:问题发生的流程、问题现象、证据清单、系统方位、组织范围
3. 问题原因分析:确定分析方法、头脑风暴、分析根本原因、分析影响因素
4. 问题处理:数据的纠正、系统修复
5. 问题预防:管理制度修改、数据标准修改、业务流程修改
安问题属性的固定分值比重设定,给每个问题进行量化打分,从高到底依次划分成 重大问题、一般问题、轻微问题
数据质量提升
定义:被批准的、被管理的业务概念定义的描述,需要通过流程来定义组织如何创建、审批、修改和发布统一的业务术语,进而推动数据的共享和组织内部的应用
定义:参考数据是将其他数据进行分类或目录整编的数据,参考数据是对定义的数据阈值进行控制,对相关参考数据值一致的,共享使用
主数据是组织中需要跨系统、跨部门共享的核心业务实体数据
标准化
主数据识别
建立主数据标准
定义:数据源是用一组属性描述其定义、标识、表示和允许值的数据单元
定义:指标数据是组织经营分析过程中衡量某一个目标或者事物的数据,一般是由指标名称、时间、指标数值等组成
必须是可量化的,对于定性评价等不进行标准化定义
必须是常规性的,周期性的
且至少满足以下条件之一:使用扩组织层级、对外报送、报送高层、跨业务部门共用
建立指标数据分类框架
建立指标数据标准化定义
管理指标数据的采集与应用
管理指标数据标准
应用指标数据
提升业务效率
提高数据质量
促进数据共享
1. 外部权力机构要求
2. 内部管理分析要求
3. 关键业务流程协同的要求
4. 数据共享和交换的要求
5. 适度前瞻
定义:数据安全是指通过采用各种技术手段和管理措施,保证数据的机密性、完整性和可用性
需求来源:数据安全管理的最终目标是了解各方的数据安全需求,建立数据安全管理体系,确保数据资产的安全符合法理规范及管理的需要。组织的数据安全需求一般来自于国家法律法规、利益相关者的关注、公司的特定业务的管理需求 法律法规及相关的规范标准,梳理相关的安全管理要求,这是组织数据安全管理的底线要求
组织内外部利益相关者,包括外部的客户、供应商、合作伙伴以及监管方,了解各方的数据安全需求
能够保护自身竞争优势、经济利益或者保护国家和公众利益的关键业务及其相关信息
定义:是指对组织内部数据安全等级的划分记忆各级数据安全防护、管理原则的定义和标准化。
目标:1. 建立统一的数据安全标准
2. 提供清晰的数据安全策略
输入:1. 数据安全法律法规
2. 数据安全监管需求
3. 数据安全问题
4. 数据管理制度
5. 数据资产目录
工作内容:1. 了解数据安全需求
2. 定义数据安全标准
3. 建立数据安全策略
交付:1. 数据安全标准
2. 数据安全策略
3. 数据安全制度
数据安全法、个人信息保护法、一般数据保护法、DSMM
定义:数据安全管理是在数据安全标准和策略的规划下统一对组织数据安全的管理工作
数据安全管理过程的第一步是落实数据分类分级工作,划分组织内部数据的类别,明确各个类别数据的安全等级,数据分类是第一步,就是根据数据的属性或特征,将其按一定的原则和方法进行区分和归类,并建立起一定的分类体系和排序顺序
选定若干个属性和特征,逐次分为若干层级,每个层级又分为若干类,同一层级类别之间构成并列关系,不同层级之间构成隶属关系,不重复不交叉
根据本身固有的属性或者特征,分成相互之间没有隶属关系即彼此独立的面,每个面包含一组类别。
混合法
1. 主动而非被动反映,预防而非补救
2. 默认隐私
3. 隐私嵌入设计
4. 正和而非零和
5. 端到端的安全,数据全生命周期保护
6. 可视性和透明性
7. 尊重用户隐私,以用户为中心
定义: 审计数据的安全是一项控制活动,负责经常性分析、验证、讨论、建议数据安全管理相关的政策、标准和活动
工作内容:1. 过程审计
2. 规范审计
3. 法规审计
4. 供应商审计
5. 审计报告发布
6. 数据安全建议
交付:1. 数据安全审计规范
2. 内部数据安全设计报告
3. 外部数据安全审计报告
4. 数据安全整改方案
目标:1. 确保组织数据安全需求、监管需求得到满足
2. 及时发现数据安全隐患、问题,改进数据安全措施
3. 提出数据安全管理建议,促进数据安全的优化提升
输入:1. 数据安全标准
2. 数据安全策略
3. 数据采购合同
4. 数据安全工具
定义:数据应用是指通过对组织数据进行统一的管理、加工和应用,对内支持业务运营、流程优化、营销推广、风险管理、渠道整合等活动,对外支持数据开放共享、数据服务等活动,从而提升数据在组织运营管理过程中的支撑辅助作用,同时实现数据价值的变现
定义:数据分析是指为了对组织各项经营管理活动提供数据决策而进行的组织内外部数据探索性分析或者挖掘建模,以及对应成果的交付运营,评价和推广活动
主要工作内容:1. 常规报表开发
2. 多维分析
3. 动态预警
4. 趋势预报
跨行业数据挖掘标准流程
确定大数据分析目标、制定项目计划
收集原始数据、描述数据、探索数据、检验数据质量
选择数据、清洗数据、构造数据、整合数据、格式化数据
选择建模技术、参数调优、生成测试计划、构建模型
对模型进行较为全面的评价,重审修订、形成报告
将已验证模型部署到相关的业务系统中,进行参数调优
定义:指按照统一的管理策略下对组织内部的数据进行有选择的对外开放,同时按照相关的管理策略引入外部数据供组织内部应用,数据开放共享是现实数据跨组织、跨行业流转的重要前提,也是数据价值最大化的基础
工作内容:1. 开放共享数据的梳理
2. 外部数据资源目录
3. 建立统一的数据开放共享策略
4. 数据提供商管理
5. 数据开发
6. 数据采购
定义:数据服务是指通过对组织内外部数据的统一加工分析,结合公众、公司和行业的需要,以应用的形式对外提供数据服务,实现数据的跨领域、跨行业的有偿或无偿服务
工作内容:1. 数据服务需求与分析
2. 数据服务开发、部署、监控、授权、计费
对数据应用中,数据分析、数据开放共享、数据服务的需求的管理
对各类数据应用的开发和设计过程的规定,以及对开发设计中应遵循的数据标准、数据架构、数据质量、数据安全要求和规范的审查
数据应用上线后,持续保障提供高质量、及时、可信数据给正确的消费方的过程
按监管和业务规定,对数据对象进行备份、恢复、销毁的过程
定义:数据需求是指组织对业务运营、经营分析和战略决策过程中产生和使用的数据的分类、含义、分布和流转的描述
业务系统建设
大数据应用分析中的数据需求描述
数据集成共享中数据需求描述
数据管理规范和标准建设中的数据需求描述
明确数据需求的统一归口管理部门,统一管理公司数据需求
需求响应机制,快速、及时响应业务部门的需求
落实单一数据源管理原则,所有数据从权威数据源中提取、查询
充分利用已有的数据资源、加工处理组件及应用,避免重复开发,提升复用率
建立数据安全红线,落实国家数据安全相关法律法规和企业中数据安全的管理制度,保护客户的隐私
目标:1. 设计满足数据需求的数据结构和解决方案
2. 实施并维护满足数据需求的解决方案
3. 确保解决方案与数据架构和数据标准的一致
4. 确保数据的完整性、安全性、可用性和可维护性
以数据为核心
强调企业整体的视角
关注数据的整合、应用
对应的数据业务化的阶段
以业务为导向进行信息化支撑
重点关注系统功能
技术驱动
对应的是业务数据化的阶段
1. 数据溯源
2. 数据剖析
3. 数据模型
4. 数据标准化
5. 数据接入
数据运维
数据退役
定义:数据目录是企业在数据盘点的基础,从技术或业务视角对数据进行统一分类和编目,以方便业务部门和数据分析人员查找、理解、共享数据的雨中数据组织方式
按IT系统的数据分类方式
按数据主题的数据分类方式
按业务事项的数据分类方式
先“盘评”,后“治理”
先“源头”,后“下游”
先“核心”,后“外围”
先“开放”,后“封闭”
1. 盘点筹备
2. 元数据采集
3. 有效表识别
4. 重点表识别
5. 三态分析
6. 元数据信息完善
7. 数据标签管理
8. 构建系统级数据目录
1. 加快培育数据要素市场
2. 发挥大数据特性优势
3. 夯实产业基础
4. 构建稳定高效产业链
5. 构筑繁荣有序产业生态
6. 筑牢数据安全保障防线
1. 提升数据思维
2. 完善推进机制
3. 强化技术供给
4. 加强研发投入
5. 加快人才培养
6. 推进国际合作
坚持问题导向、目标导向和结果导向相结合
企业主体、行业指导和属地监管相结合
分类标识、逐类定级和分级管理相结合
包括但不仅限于工业企业在研发设计、生产制造、经营管理、运维服务等环节中生成和使用的数据,以及工业互联网平台企业在设备接入、平台运行、工业app应用等过程中生成和使用的数据
三类
一级,影响较小,损失较小,消除相应付出代价较小
二级,易引发重大较大安全事故、涉及影响多个行业区域、持续时间较长,恢复数据付出代价较大
三级,易引发特别重大安全事故,直接经济损失特别巨大,对国民经济、行业发展公众利益乃至国家安全造成严重影响
适当共享一二级数据,二级数据只对确需获取的授权机构及人员开放,三级原则上不共享,严格控制知悉范围
涉及三级数据,及时上报省级工业和信息化主管部门,并于应急工作结束后30日内补充上报事件处置情况
三级抵御国家级敌对组织大规模恶意攻击
二级抵御大规模、较恶意攻击
一级能抵御一般恶意攻击