導航:首頁 > 數據處理 > 數據倉庫ods層用什麼存儲

數據倉庫ods層用什麼存儲

發布時間:2022-09-12 22:26:15

1. 什麼是ODS

Operational Data Storage , 操作型數據存儲。是一種准實時的數據存儲。這種操作型數據,可以來源於業務系統,如ERP,通信網路數據,金融數據等。ODS存儲的數據,可以供BI(商業智能)系統進行分析和挖掘。

2. 數據倉庫分層DWD、DWB、DWS分別是什麼縮寫

DW :data warehouse 翻譯成數據倉庫
DW數據分層,由下到上為 DWD,DWB,DWS
DWD:data warehouse detail 細節數據層,有的也稱為 ODS層,是業務層與數據倉庫的隔離層
DWB:data warehouse base 基礎數據層,存儲的是客觀數據,一般用作中間層,可以認為是大量指標的數據層。
DWS:data warehouse service 服務數據層,基於DWB上的基礎數據,整合匯總成分析某一個主題域的服務數據,一般是寬表。

希望對你有用。

3. 什麼是 ODS

ODS全稱為Operational Data Store,是用來存儲多個數據源業務數據的系統,其數據用來支持業務流程或者輸入到數據倉庫中進行分析。

是操作型數據存儲,是「面向主題的、集成的、可變的、反映當前數據值的和詳細的數據的集合。ODS是數據倉庫體系結構中的一個可選部分,ODS具備數據倉庫的部分特徵和OLTP系統的部分特徵。

(3)數據倉庫ods層用什麼存儲擴展閱讀:

ODS的出現:

系統應用集成中一般對各系統中數據分為兩類:操作型數據,有細節化,分散化的特點;決策型數據,有綜合化,集成化的特點。

數據倉庫概念的提出也把數據處理劃分為了操作型處理和分析型處理兩種不同類型,從而建立起了DB-DW的兩層體系結構。但是有很多情況,DB-DW的兩層體系結構並不能涵蓋企業所有的數據處理要求,比如有些實時性決策問題,它要求獲取數據周期不能太長,而且也需要一定程度的匯總。

信息處理的多層次要求導致了一種新的數據環境——DB-DW的中間層ODS(操作型數據存儲)的出現。它像DW一樣是一種面向主題,集成的數據環境,又像操作型DB一樣包含著全局一致的、細節的當前的數據。這樣就構成了DB-ODS-DW的關於企業數據的三層體系結構。

4. ods層的數據要如何導入

ods層數據導入的方法:

1、創建臨時表並載入數據。

2、創建ods庫表。

3、將數據導入orc格式表中,就完成了。

ODS層介紹:

作用:數據介面層,主要作用是接入每天的數據,然後進入DWS層進行主題分類。 命名規范:ODS_表名字 (建議表明跟文件名字一樣) 最長30個字元。 保留策略:目前保留所有原系統的數據,在將來會按照實際需要更小的縮小ODS層數據的保留策略。

操作數據存儲ODS(OperationalData Store)是數據倉庫體系結構中的一個可選部分,由業務系統產生的報表、細節數據的查詢自然能夠從ODS中進行,從而降低業務系統的查詢壓力。

ODS設計與DW設計在著眼點上有所不同,ODS重點考慮業務系統數據是什麼樣子的,關系如何,在業務流程處理的哪個環節,以及數據抽取介面等問題。

ODS的作用:

ODS是一個將面向主題的,動態增長的,非實時的,消除了原始資料庫差異的,對原始庫最大限度進行冗餘處理後得到的數據集,通過ODS消除了數據間的關聯細節,實現了對某一領域數據進行統一處理(比如查詢、統計)的快捷方法。

ODS的主要目的是為了降低數據倉庫系統和業務系統之間的緊耦合。

5. ODS的作用

一般在帶有ODS的系統體系結構中,ODS都設計為如下幾個作用:
1、在業務系統和數據倉庫之間形成一個隔離層
一般的數據倉庫應用系統都具有非常復雜的數據來源,這些數據存放在不同的地理位置、不同的資料庫、不同的應用之中,從這些業務系統對數據進行抽取並不是一件容易的事。因此,ODS用於存放從業務系統直接抽取出來的數據,這些數據從數據結構、數據之間的邏輯關繫上都與業務系統基本保持一致,因此在抽取過程中極大降低了數據轉化的復雜性,而主要關注數據抽取的介面、數據量大小、抽取方式等方面的問題。
2、轉移一部分業務系統細節查詢的功能
在數據倉庫建立之前,大量的報表、分析是由業務系統直接支持的,在一些比較復雜的報表生成過程中,對業務系統的運行產生相當大的壓力。ODS的數據從粒度、組織方式等各個方面都保持了與業務系統的一致,那麼原來由業務系統產生的報表、細節數據的查詢自然能夠從ODS中進行,從而降低業務系統的查詢壓力。
3、完成數據倉庫中不能完成的一些功能
一般來說,帶有ODS的數據倉庫體系結構中,DW層所存儲的數據都是進行匯總過的數據,並不存儲每筆交易產生的細節數據,但是在某些特殊的應用中,可能需要對交易細節數據進行查詢,這時就需要把細節數據查詢的功能轉移到ODS來完成,而且ODS的數據模型按照面向主題的方式進行存儲,可以方便地支持多維分析等查詢功能。
在一個沒有ODS層的數據倉庫應用系統體系結構中,數據倉庫中存儲的數據粒度是根據需要而確定的,但一般來說,最為細節的業務數據也是需要保留的,實際上也就相當於ODS,但與ODS所不同的是,這時的細節數據不是「當前、不斷變化的」數據,而是「歷史的,不再變化的」數據。

6. ODS的介紹

操作數據存儲ODS(Operational Data Store)是數據倉庫體系結構中的一個可選部分,ODS具備數據倉庫的部分特徵和OLTP系統的部分特徵,它是「面向主題的、集成的、當前或接近當前的、不斷變化的」數據。

7. ODS是什麼意思

ODS——操作性數據。ODS全稱為Operational Data Store,是用來存儲多個數據源業務數據的系統,其數據用來支持業務流程或者輸入到數據倉庫中進行分析。

主要用於業務支撐。一個公司往往會使用並維護若干個資料庫,這些資料庫保存著公司的日常操作數據,比如商品購買、酒店預訂、學生成績錄入等。

操作型資料庫中自然也有匯總需求,但匯總數據本身不存儲而只存儲其生成公式。這是因為操作型數據是動態變化的,因此匯總數據會在每次查詢時動態生成。。操作型數據通常反映的是現實世界的當前狀態

而對於分析型資料庫來說,因為匯總數據比較穩定不會發生改變,而且其計算量也比較大(因為時間跨度大),因此它的匯總數據可考慮事先計算好,以避免重復計算。操作型資料庫的使用者是業務環境內的各個角色,如用戶,商家,進貨商等。

8. 各位大神,數據倉庫分層 DWD DWB DWS 分別是什麼縮寫啊

DW :data warehouse 翻譯成數據倉庫

DW數據分層,由下到上為 DWD,DWB,DWS

DWD:data warehouse detail 細節數據層,有的也稱為 ODS層,是業務層與數據倉庫的隔離層。

DWB:data warehouse base 基礎數據層,存儲的是客觀數據,一般用作中間層,可以認為是大量指標的數據層。

DWS:data warehouse service 服務數據層,基於DWB上的基礎數據,整合匯總成分析某一個主題域的服務數據,一般是寬表。

(8)數據倉庫ods層用什麼存儲擴展閱讀

數據倉庫分層的原因

1、通過數據預處理提高效率,因為預處理,所以會存在冗餘數據

2、如果不分層而業務系統的業務規則發生變化,就會影響整個數據清洗過程,工作量巨大

3、通過分層管理來實現分步完成工作,這樣每一層的處理邏輯就簡單了

標準的數據倉庫分層:ods(臨時存儲層),pdw(數據倉庫層),mid(數據集市層),app(應用層)

4、空間換時間。通過建設多層次的數據模型供用戶使用,避免用戶直接使用操作型數據,可以更高效的訪問數據。

5、把復雜問題簡單化。講一個復雜的任務分解成多個步驟來完成,每一層只處理單一的步驟,比較簡單和容易理解。而且便於維護數據的准確性,當數據出現問題之後,可以不用修復所有的數據,只需要從有問題的步驟開始修復。

6、便於處理業務的變化。隨著業務的變化,只需要調整底層的數據,對應用層對業務的調整零感知

9. 什麼是數據倉庫,數據倉庫如何分層

數據倉庫分層的原因
1通過數據預處理提高效率,因為預處理,所以會存在冗餘數據
2如果不分層而業務系統的業務規則發生變化,就會影響整個數據清洗過程,工作量巨大
3通過分層管理來實現分步完成工作,這樣每一層的處理邏輯就簡單了

標準的數據倉庫分層:ods(臨時存儲層),pdw(數據倉庫層),mid(數據集市層),app(應用層)
ods:歷史存儲層,它和源系統數據是同構的,而且這一層數據粒度是最細的,這層的表分為兩種,一種是存儲當前需要載入的數據,一種是用於存儲處理完後的數據。
pdw:數據倉庫層,它的數據是干凈的數據,是一致的准確的,也就是清洗後的數據,它的數據一般都遵循資料庫第三範式,數據粒度和ods的粒度相同,它會保存bi系統中所有歷史數據
mid:數據集市層,它是面向主題組織數據的,通常是星狀和雪花狀數據,從數據粒度將,它是輕度匯總級別的數據,已經不存在明細的數據了,從廣度來說,它包含了所有業務數量。從分析角度講,大概就是近幾年
app:應用層,數據粒度高度匯總,倒不一定涵蓋所有業務數據,只是mid層數據的一個子集。

數據倉庫的目的是構建面向分析的集成化數據環境,為企業提供決策支持。數據倉庫的context也可以理解為:數據源,數據倉庫,數據應用

數據倉庫可以理解為中間集成化數據管理的一個平台
etl(抽取extra,轉化transfer,裝載load)是數據倉庫的流水線,也可以認為是數據倉庫的血液。
數據倉庫的存儲並不需要存儲所有原始數據,因為比如你存儲冗長的文本數據完全沒必要,但需要存儲細節數據,因為需求是多變的,而且數據倉庫是導入數據必須經過整理和轉換使它面向主題,因為前台資料庫的數據是基於oltp操作組織優化的,這些可能不適合做分析,面向主題的組織形式才有利於分析。
多維數據模型就是說可以多維度交叉查詢和細分,應用一般都是基於聯機分析處理(online analytical process OLAP),面向特定需求群體的數據集市會基於多位數據模型構建
而報表展示就是將聚合數據和多維分析數據展示到報表,提供簡單和直觀的數據。
元數據,也叫解釋性數據,或者數據字典,會記錄數據倉庫中模型的定義,各層級之間的映射關系,監控數據倉庫的數據狀態和etl的任務運行狀態。一般通過元數據資料庫來統一存儲和管理元數據。

10. 資料庫銀行ods層的數據從哪來

ODS是在數據倉庫中存儲業務系統源數據。
ods層數據導入的方法:
1、創建臨時表並載入數據。
2、創建ods庫表。
3、將數據導入orc格式表中,就完成了。

閱讀全文

與數據倉庫ods層用什麼存儲相關的資料

熱點內容
河北石油職業技術大學專科在哪個校區 瀏覽:68
蝦皮產品分類名字怎麼設置 瀏覽:329
蘋果和中國市場有什麼關系 瀏覽:514
松崗哪裡有批發市場 瀏覽:422
醫療數據是什麼 瀏覽:759
如何判斷同一指標的數據分析 瀏覽:518
微信如何做到不接收對方信息 瀏覽:144
數據有很多重復值怎麼去除重復值 瀏覽:953
有哪些做代理的項目 瀏覽:891
武夷山茶市場面臨哪些困難 瀏覽:317
靈通快線什麼時候交易 瀏覽:924
個人業務代理費稅率多少 瀏覽:712
完美校園請假老師可以看到哪些信息 瀏覽:179
美國什麼數據利好黃金 瀏覽:261
醉駕拿起訴書走快速程序多久判 瀏覽:208
跑贏市場前景如何 瀏覽:908
金蝶期初數據有哪些項目 瀏覽:47
昆明狗市場有哪些品種 瀏覽:762
代理加盟美團外賣怎麼樣 瀏覽:605
大年齡學什麼技術好 瀏覽:145