导航:首页 > 数据处理 > 什么叫数据治理

什么叫数据治理

发布时间:2022-04-29 02:09:16

A. 什么是数据治理

企业高层必须制定一个基于价值的数据治理计划,确保董事会和股东可以方便、安全、快速、可靠地利用数据进行决策支持和业务运行。数据治理对于确保数据的准确、适度分享和保护是至关重要的。有效的数据治理计划会通过改进决策、缩减成本、降低风险和提高安全合规等方式,将价值回馈于业务,并最终体现为增加收入和利润。

亿信睿治是从元数据、主数据、数据标准、数据质量再到数据处理、数据资产、数据交换和数据安全,能够为企业提供一站式解决方案,从而打通数据治理全流程。从而完成企业对于数据治理的要求

B. 数据治理包括哪些方面

从技术实施角度看,数据治理包含“理”“采”“存”“管”“用”这五个步骤,即业务和数据资源梳理、数据采集清洗、数据库设计和存储、数据管理、数据使用。

数据资源梳理:数据治理的第一个步骤是从业务的视角厘清组织的数据资源环境和数据资源清单,包含组织机构、业务事项、信息系统,以及以数据库、网页、文件和 API 接口形式存在的数据项资源,本步骤的输出物为分门别类的数据资源清单。

数据采集清洗:通过可视化的 ETL 工具(例如阿里的 DataX,Pentaho Data Integration)将数据从来源端经过抽取 (extract)、转换 (transform)、加载 (load) 至目的端的过程,目的是将散落和零乱的数据集中存储起来。

基础库主题库建设:一般情况下,可以将数据分为基础数据、业务主题数据和分析数据。基础数据一般指的是核心实体数据,或称主数据,例如智慧城市中的人口、法人、地理信息、信用、电子证照等数据。主题数据一般指的是某个业务主题数据,例如市场监督管理局的食品监管、质量监督检查、企业综合监管等数据。而分析数据指的是基于业务主题数据综合分析而得的分析结果数据,例如市场监督管理局的企业综合评价、产业区域分布、高危企业分布等。那么基础库和主题库的建设就是在对业务理解的基础上,基于易存储、易管理、易使用的原则抽像数据存储结构,说白了,就是基于一定的原则设计数据库表结构,然后再根据数据资源清单设计数据采集清洗流程,将整洁干净的数据存储到数据库或数据仓库中。

元数据管理:元数据管理是对基础库和主题库中的数据项属性的管理,同时,将数据项的业务含义与数据项进行了关联,便于业务人员也能够理解数据库中的数据字段含义,并且,元数据是后面提到的自动化数据共享、数据交换和商业智能(BI)的基础。需要注意的是,元数据管理一般是对基础库和主题库中(即核心数据资产)的数据项属性的管理,而数据资源清单是对各类数据来源的数据项的管理。

血缘追踪:数据被业务场景使用时,发现数据错误,数据治理团队需要快速定位数据来源,修复数据错误。那么数据治理团队需要知道业务团队的数据来自于哪个核心库,核心库的数据又来自于哪个数据源头。我们的实践是在元数据和数据资源清单之间建立关联关系,且业务团队使用的数据项由元数据组合配置而来,这样,就建立了数据使用场景与数据源头之间的血缘关系。 数据资源目录:数据资源目录一般应用于数据共享的场景,例如政府部门之间的数据共享,数据资源目录是基于业务场景和行业规范而创建,同时依托于元数据和基础库主题而实现自动化的数据申请和使用。

质量管理:数据价值的成功发掘必须依托于高质量的数据,唯有准确、完整、一致的数据才有使用价值。因此,需要从多维度来分析数据的质量,例如:偏移量、非空检查、值域检查、规范性检查、重复性检查、关联关系检查、离群值检查、波动检查等等。需要注意的是,优秀的数据质量模型的设计必须依赖于对业务的深刻理解,在技术上也推荐使用大数据相关技术来保障检测性能和降低对业务系统的性能影响,例如 Hadoop,MapRece,HBase 等。

商业智能(BI):数据治理的目的是使用,对于一个大型的数据仓库来说,数据使用的场景和需求是多变的,那么可以使用 BI 类的产品快速获取需要的数据,并分析形成报表,像派可数据就属于专业的BI厂商。

数据共享交换:数据共享包括组织内部和组织之间的数据共享,共享方式也分为库表、文件和 API 接口三种共享方式,库表共享比较直接粗暴,文件共享方式通过 ETL 工具做一个反向的数据交换也就可以实现。我们比较推荐的是 API 接口共享方式,在这种方式下,能够让中心数据仓库保留数据所有权,把数据使用权通过 API 接口的形式进行了转移。API 接口共享可以使用 API 网关实现,常见的功能是自动化的接口生成、申请审核、限流、限并发、多用户隔离、调用统计、调用审计、黑白名单、调用监控、质量监控等等。

C. 数据治理三个阶段是什么

数据治理分为四个阶段:

第一阶段,梳理企业信息,构建企业的数据资产库。首先要清楚企业的数据模型、数据关系,对企业资产形成业务视图、技术视图等针对不同用户视角的展示。

第二阶段,建立管理流程,落地数据标准,提升数据质量。从企业角度梳理质量问题,紧抓标准落地。

第三阶段,直接为用户提供价值。本阶段依赖于前两个阶段的建设,为用户提供方便的获取数据的途径。

第四阶段,为企业提供数据价值。通过多种手段对多种来源的数据进行分析,形成企业知识图谱,体现数据的深层价值。

通过这4个阶段的建设,建立起全企业的数据质量管控平台,以用户为中心,由用户使用数据并通过用户的使用优化数据质量,既达到了数据治理的目标,也最大限度的发挥了数据的价值。



数据治理方案:

有关数据治理的问题并不能在企业的单一部门得到解决。这需要IT与业务部门进行协作,而且必须始终如一地进行协作,以改善数据的可靠性和质量,从而为关键业务方案提供支持,并确保遵守法规。

Informatica能够提供企业级数据治理解决方案,该解决方案可以在本地或云中使用,在传统数据或大数据中均有使用案例,可以满足业务和IT部门的需求。

Informatica可提供功能齐全而又稳健可靠的数据治理解决方案,具备交付可信、安全的数据和启动成功的元数据管理方案所需的全部精确功能。

Informatica Axon提供端到端智能数据治理解决方案,以整体、协作的方法将员工、流程和系统流畅融合,从而实现战略业务成果。Axon Data Governance作为协作中心,为成功实施数据治理计划提供支持。

D. 什么是数据安全治理

数据治理是数据高效安全利用持续改进的一套管理机制和技术辅助工具有机结合的体系,其中包含数据管理的组织架构、数据管理模型、政策和体系,涉及数据标准要求、数据质量要求、数据影响度分析、工作流程、监督考核和辅助的技术工具等一系列体系性内容;数据治理涉及的技术主题包括元数据的定义和管理、数据质量的标准和检验、数据集成约定、主数据定义与管理、数据资产的明确与管理、数据交换范围和规则、数据生命周期和数据安全的关联性配套等多种技术和产品组成的体系化技术措施。
通过数据治理,能够规范化业务系统中的数据,有利于充分利用和挖掘数据的价值,进一步促进业务的发展和精细化管理,实现和保障数字化转型,体现经济价值和社会价值。
严格来说,数据治理包含数据安全治理,数据安全属于数据治理的一项重要内容,数据安全治理是数据治理的一个过程。

E. 数据治理包含哪些内容数据治理有标准吗

其实每个数据治理的领域都可作为一个独立方向进行研究治理,目前总结的数据治理领域包括但不限于以下内容:数据标准、元数据、数据模型、数据分布、数据存储、数据交换、数据生命周期管理、数据质量、数据安全以及数据共享服务。

F. 数据治理的好处有哪些

1、对数据的共同理解——数据治理为数据提供了一致的视图和通用术语,同时各个业务部门保留了适当的灵活性。
2、提高数据质量——数据治理创建了一个确保数据准确性、完整性和一致性的计划。

3、数据地图——数据治理提供了一种高级能力,可以了解与关键实体相关的所有数据的位置,这是数据集成所必需的。就像GPS 可以代表物理景观并帮助人们在未知景观中找到方向一样,数据治理使数据资产变得可用并且更容易与业务成果联系起来。

4、每个客户和其他业务实体的360 度视图——数据治理建立了一个框架,以便企业可以就关键业务实体的“单一版本真相”达成一致,并在实体和业务活动之间创建适当的一致性级别。

5、一致的合规性— 数据治理提供了一个平台来满足政府法规的要求,例如欧盟通用数据保护条例 (GDPR)、美国 HIPAA(健康保险流通与责任法案)和行业要求,例如 PCI DSS(支付卡行业数据安全标准)。

6、改进数据管理——数据治理将人的维度带入高度自动化、数据驱动的世界。它建立了数据管理的行为准则和最佳实践,确保传统数据和技术领域(包括法律、安全和合规等领域)以外的问题和需求得到一致解决。

G. 数据治理的定义,有谁知道

数据治理就是在明确责任的前提下,发挥数据的有效性和提升业务价值而采用的一系列业务、技术和管理相结合的活动。

H. 一文让你分清数据管理与数据治理

一文让你分清数据管理与数据治理
当我们谈数据资产管理时,我们究竟在谈什么?就目前而言,我们谈论得最多的非数据管理和数据治理这两个概念莫属。但是对于这两个概念,两者的准确定义是什么,具体区别又是什么,仍是困扰着许多人的关键问题。
数据管理和数据治理有很多地方是互相重叠的,它们都围绕数据这个领域展开,因此这两个术语经常被混为一谈。
此外,每当人们提起数据管理和数据治理的时候,还有一对类似的术语叫信息管理和信息治理,更混淆了人们对它们的理解。关于企业信息管理这个课题,还有许多相关的子集,包括主数据管理、元数据管理、数据生命周期管理等等。
于是,出现了许多不同的理论(或理论家)描述关于在企业中数据/信息的管理以及治理如何运作:它们如何单独运作?它们又如何一起协同工作?是“自下而上”还是“自上而下”的方法更高效?
为了帮助大家弄明白这些术语以及它们之间的关系,本文将着重定义它们的概念,并指出它们的区别,这些定义和区别源自于国际公认的以数据为中心的相关组织,同时还会在一些观点上展开详细的探讨。
数据管理包含数据治理
在说明数据和信息的区别之前,最好从“治理是整体数据管理的一部分”这个概念开始,这个概念目前已经得到了业界的广泛认同。数据管理包含多个不同的领域,其中一个最显着的领域就是数据治理。CMMi协会颁布的数据管理成熟度模型(DMM)使这个概念具体化。DMM模型中包括六个有效数据管理分类,而其中一个就是数据治理。数据管理协会(DAMA)在数据管理知识体系(DMBOK)中也认为,数据治理是数据管理的一部分。在企业信息管理(EIM)这个定义上,Gartner认为EIM是“在组织和技术的边界上结构化、描述、治理信息资产的一个综合学科”。Gartner这个定义不仅强调了数据/信息管理和治理上的紧密关系,也重申了数据管理包含治理这个观点。
治理与管理的区别
在明确数据治理是数据管理的一部分之后,下一个问题就是定义数据管理。治理相对容易界定,它是用来明确相关角色、工作责任和工作流程的,确保数据资产能长期有序地、可持续地得到管理。而数据管理则是一个更为广泛的定义,它与任何时间采集和应用数据的可重复流程的方方面面都紧密相关。例如,简单地建立和规划一个数据仓库,这是数据管理层面的工作。定义谁以及如何访问这个数据仓库,并且实施各种各样针对元数据和资源库管理工作的标准,这是治理层面的工作。数据管理更广泛的定义包含DATAVERSITY上大部分主题为数据管理的文章和博客,其中有一部分是特别针对数据治理的。一个更广泛的定义是,在数据管理过程中要保证一个组织已经将数据转换成有用信息,这项工作所需要的流程和工具就是数据治理的工作。
信息与数据的区别
在上文关于数据管理的第三个定义中,提到了数据和信息的区别。所有的信息都是数据,但并不是所有的数据都是信息。信息是那些容易应用于业务流程并产生特定价值的数据。要成为信息,数据通常必须经历一个严格的治理流程,它使有用的数据从无用数据中分离出来,以及采取若干关键措施增加有用数据的可信度,并将有用数据作为信息使用。数据的特殊点在于创造和使用信息。在Gartner的术语表中,没有单独解释数据管理和数据治理的概念,取与代之的是重点介绍了信息治理和信息管理的概念。
数据治理主要围绕对象:角色
与正式的数据治理流程相关的角色是有限的。这些角色通常包括高层的管理者,他们优化数据治理规划并使资金筹集变得更为容易。这些角度也包括一个治理委员会,由个别高层管理者以及针对治理特定业务和必要流程而赋予相应职责的跨业务部门的人组成。角色也包括数据管理员,确保治理活动的持续开展以及帮忙企业实现业务目标。此外,还有部分“平民”管理员,他们虽然不会明确被指定为数据管理员,但他们仍然在各自业务领域里的治理流程中扮演活跃的角色。
有效的治理不仅需要IT的介入,这是人们的普遍共识。尤其当业务必须更主动地参与到治理方式和数据管理其他层面(例如自助数据分析)的时候,目的是要从这些工作参与中获益。在更多的案例中,特定领域的治理可以直接应用于业务。这就是为什么治理仅需要IT的介入是一个过时且应该摈弃的观点。
数据治理主要围绕对象:领域
数据治理包含许多不同方面的领域:
●元数据:元数据要求数据元素和术语的一致性定义,它们通常聚集于业务词汇表上。
●业务词汇表:对于企业而言,建立统一的业务术语非常关键,如果这些术语和上下文不能横跨整个企业的范畴,那么它将会在不同的业务部门中出现不同的表述。
●生命周期管理:数据保存的时间跨度、数据保存的位置,以及数据如何使用都会随着时间而产生变化,某些生命周期管理还会受到法律法规的影响。
●数据质量:数据质量的具体措施包括数据详细检查的流程,目的是让业务部门信任这些数据。数据质量是非常重要的,有人认为它不同于治理,它极大提升了治理的水平。
●参考数据管理:参考数据提供数据的上下文,尤其是它结合元数据一起考虑的情况下。由于参考数据变更的频率较低,参考数据的治理经常会被忽视。
虽然上述提及的是数据治理在数据管理中所负责的特定领域,但一个至关重要的问题在于,所有组织里的数据必须持续坚持数据治理的原则。
数据建模
数据建模是依赖于数据治理的另一个数据管理中的关键领域,它结合了数据管理与数据治理两者进行协调工作。可以说,为了将数据治理扩展到整个组织,利用一个规范化的数据建模有利于将数据治理工作扩展到其他业务部门。遵从一致性的数据建模,令数据标准变得有价值(特别是应用于大数据)。一个确保数据治理贯穿整个企业的最高效手段,就是利用数据建模技术直接关联不同的数据治理领域,例如数据血缘关系以及数据质量。当需要合并非结构化数据时,数据建模将会更有价值。此外,数据建模加强了治理的结构和形式。
关键的不同点
数据管理其他方面的案例在DMM中有五个类型,包括数据管理战略、数据质量、数据操作(生命周期管理)、平台与架构(例如集成和架构标准),以及支持流程(聚集于其他因素之中的流程和风险管理)。在此重申一点,数据治理和数据管理非常接近是有事实支撑的,数据质量经常被视为与数据治理相结合,甚至被认为是数据治理的产物之一。也许,情景化这两个领域的最好办法,在于理解数据治理是负责正式化任何数据管理当中的流程,数据治理本身着重提供一整套工具和方法,确保企业在实际上治理这些数据。虽然数据治理是数据管理中的一部分,但后者必须要由前者来提供可靠的信息到核心业务流程。

I. 数据治理的什么是数据治理

信息系统建设发展到一定阶段,数据资源将成为战略资产,而有效的数据治理才是数 据资产形成的必要条件。
虽然以规范的方式来管理数据资产的理念已经被广泛接受和认可,但是光有理念是不够的,还需要组织架构、原则、过程和规则,以确保数据管理的各项职能得到正确的履行。
以企业财务管理为例,会计负责管理企业的金融资产,遵守相关制度和规定,同时接受审计员的监督;审计员负责监管金融资产的管理活动。数据治理扮演的角色与审计员类似,其作用就是确保企业的数据资产得到正确有效的管理。
由于切入视角和侧重点不同,业界给出的数据治理定义已经不下几十种,到目前为止还未形成一个统一标准的定义。
ITSS WG1认为数据治理包含以下几方面内容
(1)确保信息利益相关者的需要评估,以达成一致的企业目标,这些企业目标需要通过对信息资源的获取和管理实现;
(2)确保有效助力业务的决策机制和方向;
(3)确保绩效和合规进行监督。
数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。
数据治理的全过程
数据治理其实是一种体系,是一个关注于信息系统执行层面的体系,这一体系的目的是整合IT与业务部门的知识和意见,通过一个类似于监督委员会或项目小组的虚拟组织对企业的信息化建设进行全方位的监管,这一组织的基础是企业高层的授权和业务部门与IT部门的建设性合作。从范围来讲,数据治理涵盖了从前端事务处理系统、后端业务数据库到终端的数据分析,从源头到终端再回到源头形成一个闭环负反馈系统(控制理论中趋稳的系统)。从目的来讲,数据治理就是要对数据的获取、处理、使用进行监管(监管就是我们在执行层面对信息系统的负反馈),而监管的职能主要通过以下五个方面的执行力来保证——发现、监督、控制、沟通、整合

J. 数据管理和数据治理到底是不是一个概念

严格来说,数据管理与数据治理不能视为同一概念,两者区别在于:数据管理是做关于数据架构、数据建模、数据集成等真正去接触数据的事情;而数据治理则是要搞清楚谁应该管什么、应该怎么管、用什么标准和制度去管这些问题。

阅读全文

与什么叫数据治理相关的资料

热点内容
郑州市新绿地角市场什么时间拆迁 浏览:128
主屏幕小程序怎么设置 浏览:131
丽水学小吃技术去哪里学 浏览:187
技术干部下海退休按什么算 浏览:533
企业内部信息发布app有哪些 浏览:1000
沈阳最大干果市场在哪里 浏览:102
横排如何统计不重复数据 浏览:579
黄精市场容量变化趋势怎么写 浏览:781
如何知道大宗交易的期限 浏览:110
抖音如何才能看不到别人发的信息 浏览:560
海产品猫眼螺怎么养 浏览:407
磁条交易有哪些 浏览:868
深圳证券交易所什么时候设中小板 浏览:743
案件简易程序改成普通程序要多久 浏览:287
消费者如何对瑕疵产品进行索赔 浏览:195
执行信息登记什么意思 浏览:76
跨库数据库怎么获取 浏览:873
日照职业技术学院怎么填报专业 浏览:88
肯德基代理多少钱一年 浏览:347
茶园信息卡去哪里办理 浏览:374