導航:首頁 > 數據處理 > 什麼叫數據治理

什麼叫數據治理

發布時間:2022-04-29 02:09:16

A. 什麼是數據治理

企業高層必須制定一個基於價值的數據治理計劃,確保董事會和股東可以方便、安全、快速、可靠地利用數據進行決策支持和業務運行。數據治理對於確保數據的准確、適度分享和保護是至關重要的。有效的數據治理計劃會通過改進決策、縮減成本、降低風險和提高安全合規等方式,將價值回饋於業務,並最終體現為增加收入和利潤。

億信睿治是從元數據、主數據、數據標准、數據質量再到數據處理、數據資產、數據交換和數據安全,能夠為企業提供一站式解決方案,從而打通數據治理全流程。從而完成企業對於數據治理的要求

B. 數據治理包括哪些方面

從技術實施角度看,數據治理包含「理」「采」「存」「管」「用」這五個步驟,即業務和數據資源梳理、數據採集清洗、資料庫設計和存儲、數據管理、數據使用。

數據資源梳理:數據治理的第一個步驟是從業務的視角釐清組織的數據資源環境和數據資源清單,包含組織機構、業務事項、信息系統,以及以資料庫、網頁、文件和 API 介面形式存在的數據項資源,本步驟的輸出物為分門別類的數據資源清單。

數據採集清洗:通過可視化的 ETL 工具(例如阿里的 DataX,Pentaho Data Integration)將數據從來源端經過抽取 (extract)、轉換 (transform)、載入 (load) 至目的端的過程,目的是將散落和零亂的數據集中存儲起來。

基礎庫主題庫建設:一般情況下,可以將數據分為基礎數據、業務主題數據和分析數據。基礎數據一般指的是核心實體數據,或稱主數據,例如智慧城市中的人口、法人、地理信息、信用、電子證照等數據。主題數據一般指的是某個業務主題數據,例如市場監督管理局的食品監管、質量監督檢查、企業綜合監管等數據。而分析數據指的是基於業務主題數據綜合分析而得的分析結果數據,例如市場監督管理局的企業綜合評價、產業區域分布、高危企業分布等。那麼基礎庫和主題庫的建設就是在對業務理解的基礎上,基於易存儲、易管理、易使用的原則抽像數據存儲結構,說白了,就是基於一定的原則設計資料庫表結構,然後再根據數據資源清單設計數據採集清洗流程,將整潔干凈的數據存儲到資料庫或數據倉庫中。

元數據管理:元數據管理是對基礎庫和主題庫中的數據項屬性的管理,同時,將數據項的業務含義與數據項進行了關聯,便於業務人員也能夠理解資料庫中的數據欄位含義,並且,元數據是後面提到的自動化數據共享、數據交換和商業智能(BI)的基礎。需要注意的是,元數據管理一般是對基礎庫和主題庫中(即核心數據資產)的數據項屬性的管理,而數據資源清單是對各類數據來源的數據項的管理。

血緣追蹤:數據被業務場景使用時,發現數據錯誤,數據治理團隊需要快速定位數據來源,修復數據錯誤。那麼數據治理團隊需要知道業務團隊的數據來自於哪個核心庫,核心庫的數據又來自於哪個數據源頭。我們的實踐是在元數據和數據資源清單之間建立關聯關系,且業務團隊使用的數據項由元數據組合配置而來,這樣,就建立了數據使用場景與數據源頭之間的血緣關系。 數據資源目錄:數據資源目錄一般應用於數據共享的場景,例如政府部門之間的數據共享,數據資源目錄是基於業務場景和行業規范而創建,同時依託於元數據和基礎庫主題而實現自動化的數據申請和使用。

質量管理:數據價值的成功發掘必須依託於高質量的數據,唯有準確、完整、一致的數據才有使用價值。因此,需要從多維度來分析數據的質量,例如:偏移量、非空檢查、值域檢查、規范性檢查、重復性檢查、關聯關系檢查、離群值檢查、波動檢查等等。需要注意的是,優秀的數據質量模型的設計必須依賴於對業務的深刻理解,在技術上也推薦使用大數據相關技術來保障檢測性能和降低對業務系統的性能影響,例如 Hadoop,MapRece,HBase 等。

商業智能(BI):數據治理的目的是使用,對於一個大型的數據倉庫來說,數據使用的場景和需求是多變的,那麼可以使用 BI 類的產品快速獲取需要的數據,並分析形成報表,像派可數據就屬於專業的BI廠商。

數據共享交換:數據共享包括組織內部和組織之間的數據共享,共享方式也分為庫表、文件和 API 介面三種共享方式,庫表共享比較直接粗暴,文件共享方式通過 ETL 工具做一個反向的數據交換也就可以實現。我們比較推薦的是 API 介面共享方式,在這種方式下,能夠讓中心數據倉庫保留數據所有權,把數據使用權通過 API 介面的形式進行了轉移。API 介面共享可以使用 API 網關實現,常見的功能是自動化的介面生成、申請審核、限流、限並發、多用戶隔離、調用統計、調用審計、黑白名單、調用監控、質量監控等等。

C. 數據治理三個階段是什麼

數據治理分為四個階段:

第一階段,梳理企業信息,構建企業的數據資產庫。首先要清楚企業的數據模型、數據關系,對企業資產形成業務視圖、技術視圖等針對不同用戶視角的展示。

第二階段,建立管理流程,落地數據標准,提升數據質量。從企業角度梳理質量問題,緊抓標准落地。

第三階段,直接為用戶提供價值。本階段依賴於前兩個階段的建設,為用戶提供方便的獲取數據的途徑。

第四階段,為企業提供數據價值。通過多種手段對多種來源的數據進行分析,形成企業知識圖譜,體現數據的深層價值。

通過這4個階段的建設,建立起全企業的數據質量管控平台,以用戶為中心,由用戶使用數據並通過用戶的使用優化數據質量,既達到了數據治理的目標,也最大限度的發揮了數據的價值。



數據治理方案:

有關數據治理的問題並不能在企業的單一部門得到解決。這需要IT與業務部門進行協作,而且必須始終如一地進行協作,以改善數據的可靠性和質量,從而為關鍵業務方案提供支持,並確保遵守法規。

Informatica能夠提供企業級數據治理解決方案,該解決方案可以在本地或雲中使用,在傳統數據或大數據中均有使用案例,可以滿足業務和IT部門的需求。

Informatica可提供功能齊全而又穩健可靠的數據治理解決方案,具備交付可信、安全的數據和啟動成功的元數據管理方案所需的全部精確功能。

Informatica Axon提供端到端智能數據治理解決方案,以整體、協作的方法將員工、流程和系統流暢融合,從而實現戰略業務成果。Axon Data Governance作為協作中心,為成功實施數據治理計劃提供支持。

D. 什麼是數據安全治理

數據治理是數據高效安全利用持續改進的一套管理機制和技術輔助工具有機結合的體系,其中包含數據管理的組織架構、數據管理模型、政策和體系,涉及數據標准要求、數據質量要求、數據影響度分析、工作流程、監督考核和輔助的技術工具等一系列體系性內容;數據治理涉及的技術主題包括元數據的定義和管理、數據質量的標准和檢驗、數據集成約定、主數據定義與管理、數據資產的明確與管理、數據交換范圍和規則、數據生命周期和數據安全的關聯性配套等多種技術和產品組成的體系化技術措施。
通過數據治理,能夠規范化業務系統中的數據,有利於充分利用和挖掘數據的價值,進一步促進業務的發展和精細化管理,實現和保障數字化轉型,體現經濟價值和社會價值。
嚴格來說,數據治理包含數據安全治理,數據安全屬於數據治理的一項重要內容,數據安全治理是數據治理的一個過程。

E. 數據治理包含哪些內容數據治理有標准嗎

其實每個數據治理的領域都可作為一個獨立方向進行研究治理,目前總結的數據治理領域包括但不限於以下內容:數據標准、元數據、數據模型、數據分布、數據存儲、數據交換、數據生命周期管理、數據質量、數據安全以及數據共享服務。

F. 數據治理的好處有哪些

1、對數據的共同理解——數據治理為數據提供了一致的視圖和通用術語,同時各個業務部門保留了適當的靈活性。
2、提高數據質量——數據治理創建了一個確保數據准確性、完整性和一致性的計劃。

3、數據地圖——數據治理提供了一種高級能力,可以了解與關鍵實體相關的所有數據的位置,這是數據集成所必需的。就像GPS 可以代表物理景觀並幫助人們在未知景觀中找到方向一樣,數據治理使數據資產變得可用並且更容易與業務成果聯系起來。

4、每個客戶和其他業務實體的360 度視圖——數據治理建立了一個框架,以便企業可以就關鍵業務實體的“單一版本真相”達成一致,並在實體和業務活動之間創建適當的一致性級別。

5、一致的合規性— 數據治理提供了一個平台來滿足政府法規的要求,例如歐盟通用數據保護條例 (GDPR)、美國 HIPAA(健康保險流通與責任法案)和行業要求,例如 PCI DSS(支付卡行業數據安全標准)。

6、改進數據管理——數據治理將人的維度帶入高度自動化、數據驅動的世界。它建立了數據管理的行為准則和最佳實踐,確保傳統數據和技術領域(包括法律、安全和合規等領域)以外的問題和需求得到一致解決。

G. 數據治理的定義,有誰知道

數據治理就是在明確責任的前提下,發揮數據的有效性和提升業務價值而採用的一系列業務、技術和管理相結合的活動。

H. 一文讓你分清數據管理與數據治理

一文讓你分清數據管理與數據治理
當我們談數據資產管理時,我們究竟在談什麼?就目前而言,我們談論得最多的非數據管理和數據治理這兩個概念莫屬。但是對於這兩個概念,兩者的准確定義是什麼,具體區別又是什麼,仍是困擾著許多人的關鍵問題。
數據管理和數據治理有很多地方是互相重疊的,它們都圍繞數據這個領域展開,因此這兩個術語經常被混為一談。
此外,每當人們提起數據管理和數據治理的時候,還有一對類似的術語叫信息管理和信息治理,更混淆了人們對它們的理解。關於企業信息管理這個課題,還有許多相關的子集,包括主數據管理、元數據管理、數據生命周期管理等等。
於是,出現了許多不同的理論(或理論家)描述關於在企業中數據/信息的管理以及治理如何運作:它們如何單獨運作?它們又如何一起協同工作?是「自下而上」還是「自上而下」的方法更高效?
為了幫助大家弄明白這些術語以及它們之間的關系,本文將著重定義它們的概念,並指出它們的區別,這些定義和區別源自於國際公認的以數據為中心的相關組織,同時還會在一些觀點上展開詳細的探討。
數據管理包含數據治理
在說明數據和信息的區別之前,最好從「治理是整體數據管理的一部分」這個概念開始,這個概念目前已經得到了業界的廣泛認同。數據管理包含多個不同的領域,其中一個最顯著的領域就是數據治理。CMMi協會頒布的數據管理成熟度模型(DMM)使這個概念具體化。DMM模型中包括六個有效數據管理分類,而其中一個就是數據治理。數據管理協會(DAMA)在數據管理知識體系(DMBOK)中也認為,數據治理是數據管理的一部分。在企業信息管理(EIM)這個定義上,Gartner認為EIM是「在組織和技術的邊界上結構化、描述、治理信息資產的一個綜合學科」。Gartner這個定義不僅強調了數據/信息管理和治理上的緊密關系,也重申了數據管理包含治理這個觀點。
治理與管理的區別
在明確數據治理是數據管理的一部分之後,下一個問題就是定義數據管理。治理相對容易界定,它是用來明確相關角色、工作責任和工作流程的,確保數據資產能長期有序地、可持續地得到管理。而數據管理則是一個更為廣泛的定義,它與任何時間採集和應用數據的可重復流程的方方面面都緊密相關。例如,簡單地建立和規劃一個數據倉庫,這是數據管理層面的工作。定義誰以及如何訪問這個數據倉庫,並且實施各種各樣針對元數據和資源庫管理工作的標准,這是治理層面的工作。數據管理更廣泛的定義包含DATAVERSITY上大部分主題為數據管理的文章和博客,其中有一部分是特別針對數據治理的。一個更廣泛的定義是,在數據管理過程中要保證一個組織已經將數據轉換成有用信息,這項工作所需要的流程和工具就是數據治理的工作。
信息與數據的區別
在上文關於數據管理的第三個定義中,提到了數據和信息的區別。所有的信息都是數據,但並不是所有的數據都是信息。信息是那些容易應用於業務流程並產生特定價值的數據。要成為信息,數據通常必須經歷一個嚴格的治理流程,它使有用的數據從無用數據中分離出來,以及採取若干關鍵措施增加有用數據的可信度,並將有用數據作為信息使用。數據的特殊點在於創造和使用信息。在Gartner的術語表中,沒有單獨解釋數據管理和數據治理的概念,取與代之的是重點介紹了信息治理和信息管理的概念。
數據治理主要圍繞對象:角色
與正式的數據治理流程相關的角色是有限的。這些角色通常包括高層的管理者,他們優化數據治理規劃並使資金籌集變得更為容易。這些角度也包括一個治理委員會,由個別高層管理者以及針對治理特定業務和必要流程而賦予相應職責的跨業務部門的人組成。角色也包括數據管理員,確保治理活動的持續開展以及幫忙企業實現業務目標。此外,還有部分「平民」管理員,他們雖然不會明確被指定為數據管理員,但他們仍然在各自業務領域里的治理流程中扮演活躍的角色。
有效的治理不僅需要IT的介入,這是人們的普遍共識。尤其當業務必須更主動地參與到治理方式和數據管理其他層面(例如自助數據分析)的時候,目的是要從這些工作參與中獲益。在更多的案例中,特定領域的治理可以直接應用於業務。這就是為什麼治理僅需要IT的介入是一個過時且應該擯棄的觀點。
數據治理主要圍繞對象:領域
數據治理包含許多不同方面的領域:
●元數據:元數據要求數據元素和術語的一致性定義,它們通常聚集於業務詞彙表上。
●業務詞彙表:對於企業而言,建立統一的業務術語非常關鍵,如果這些術語和上下文不能橫跨整個企業的范疇,那麼它將會在不同的業務部門中出現不同的表述。
●生命周期管理:數據保存的時間跨度、數據保存的位置,以及數據如何使用都會隨著時間而產生變化,某些生命周期管理還會受到法律法規的影響。
●數據質量:數據質量的具體措施包括數據詳細檢查的流程,目的是讓業務部門信任這些數據。數據質量是非常重要的,有人認為它不同於治理,它極大提升了治理的水平。
●參考數據管理:參考數據提供數據的上下文,尤其是它結合元數據一起考慮的情況下。由於參考數據變更的頻率較低,參考數據的治理經常會被忽視。
雖然上述提及的是數據治理在數據管理中所負責的特定領域,但一個至關重要的問題在於,所有組織里的數據必須持續堅持數據治理的原則。
數據建模
數據建模是依賴於數據治理的另一個數據管理中的關鍵領域,它結合了數據管理與數據治理兩者進行協調工作。可以說,為了將數據治理擴展到整個組織,利用一個規范化的數據建模有利於將數據治理工作擴展到其他業務部門。遵從一致性的數據建模,令數據標准變得有價值(特別是應用於大數據)。一個確保數據治理貫穿整個企業的最高效手段,就是利用數據建模技術直接關聯不同的數據治理領域,例如數據血緣關系以及數據質量。當需要合並非結構化數據時,數據建模將會更有價值。此外,數據建模加強了治理的結構和形式。
關鍵的不同點
數據管理其他方面的案例在DMM中有五個類型,包括數據管理戰略、數據質量、數據操作(生命周期管理)、平台與架構(例如集成和架構標准),以及支持流程(聚集於其他因素之中的流程和風險管理)。在此重申一點,數據治理和數據管理非常接近是有事實支撐的,數據質量經常被視為與數據治理相結合,甚至被認為是數據治理的產物之一。也許,情景化這兩個領域的最好辦法,在於理解數據治理是負責正式化任何數據管理當中的流程,數據治理本身著重提供一整套工具和方法,確保企業在實際上治理這些數據。雖然數據治理是數據管理中的一部分,但後者必須要由前者來提供可靠的信息到核心業務流程。

I. 數據治理的什麼是數據治理

信息系統建設發展到一定階段,數據資源將成為戰略資產,而有效的數據治理才是數 據資產形成的必要條件。
雖然以規范的方式來管理數據資產的理念已經被廣泛接受和認可,但是光有理念是不夠的,還需要組織架構、原則、過程和規則,以確保數據管理的各項職能得到正確的履行。
以企業財務管理為例,會計負責管理企業的金融資產,遵守相關制度和規定,同時接受審計員的監督;審計員負責監管金融資產的管理活動。數據治理扮演的角色與審計員類似,其作用就是確保企業的數據資產得到正確有效的管理。
由於切入視角和側重點不同,業界給出的數據治理定義已經不下幾十種,到目前為止還未形成一個統一標準的定義。
ITSS WG1認為數據治理包含以下幾方面內容
(1)確保信息利益相關者的需要評估,以達成一致的企業目標,這些企業目標需要通過對信息資源的獲取和管理實現;
(2)確保有效助力業務的決策機制和方向;
(3)確保績效和合規進行監督。
數據治理是指從使用零散數據變為使用統一主數據、從具有很少或沒有組織和流程治理到企業范圍內的綜合數據治理、從嘗試處理主數據混亂狀況到主數據井井有條的一個過程。
數據治理的全過程
數據治理其實是一種體系,是一個關注於信息系統執行層面的體系,這一體系的目的是整合IT與業務部門的知識和意見,通過一個類似於監督委員會或項目小組的虛擬組織對企業的信息化建設進行全方位的監管,這一組織的基礎是企業高層的授權和業務部門與IT部門的建設性合作。從范圍來講,數據治理涵蓋了從前端事務處理系統、後端業務資料庫到終端的數據分析,從源頭到終端再回到源頭形成一個閉環負反饋系統(控制理論中趨穩的系統)。從目的來講,數據治理就是要對數據的獲取、處理、使用進行監管(監管就是我們在執行層面對信息系統的負反饋),而監管的職能主要通過以下五個方面的執行力來保證——發現、監督、控制、溝通、整合

J. 數據管理和數據治理到底是不是一個概念

嚴格來說,數據管理與數據治理不能視為同一概念,兩者區別在於:數據管理是做關於數據架構、數據建模、數據集成等真正去接觸數據的事情;而數據治理則是要搞清楚誰應該管什麼、應該怎麼管、用什麼標准和制度去管這些問題。

閱讀全文

與什麼叫數據治理相關的資料

熱點內容
德國的醫學技術怎麼樣 瀏覽:629
母嬰店做代理怎麼做 瀏覽:323
如何搜索酷狗音樂的小程序 瀏覽:837
釘釘入職信息在哪裡填寫 瀏覽:268
如何測量山體數據化 瀏覽:131
亞馬遜產品材積公式怎麼算 瀏覽:523
期貨交易信念是什麼意思 瀏覽:694
保濕乳液代理哪個品牌好 瀏覽:283
jdbc插入多少數據 瀏覽:770
汽車交易發票可以管多久 瀏覽:686
什麼是航空資料庫 瀏覽:782
文旅碼預約成功信息什麼時候有 瀏覽:208
維加斯美國技術任務怎麼完成 瀏覽:919
與股票市場相關的工作有哪些 瀏覽:221
大連推廣行業解決方案技術怎麼樣 瀏覽:931
四川春秋女裝代理多少錢 瀏覽:434
投訴手機信息怎麼刪除 瀏覽:949
三農產品質量如何 瀏覽:883
南寧花卉市場怎麼買 瀏覽:340
外匯交易員怎麼做數據 瀏覽:973