數據處理的方式有哪些

1. 依照操作系統的數據處理方式分類共有哪幾種數據處理方式

按數據處理方式可分類：（1）電子數字計算機：所有信息以二進制數表示；（2）電子模擬計算機：內部信息形式為連續變化的模擬電壓，基本運算部件為運算放大器；（3）混合式電子計算機：既有數字量又能表示模擬量，設計比較困難。

2. 數據處理是什麼意思

數據處理是對數據（包括數值的和非數值的）進行分析和加工的技術過程。包括對各種原始數據的分析、整理、計算、編輯等的加工和處理。數據處理的基本目的是從大量的、可能是雜亂無章的、難以理解的數據中抽取並推導出對於某些特定的人們來說是有價值、有意義的數據。

數據處理是系統工程和自動控制的基本環節。數據處理貫穿於社會生產和社會生活的各個領域。數據處理技術的發展及其應用的廣度和深度，極大地影響著人類社會發展的進程。

(2)數據處理的方式有哪些擴展閱讀：

計算機數據處理主要包括8個方面：

1、數據採集:採集所需的信息。

2、數據轉換：把信息轉換成機器能夠接收的形式。

3、數據分組：指定編碼，按有關信息進行有效的分組。

4、數據組織：整理數據或用某些方法安排數據，以便進行處理。

5、數據計算：進行各種算術和邏輯運算，以便得到進一步的信息。

6、數據存儲：將原始數據或計算的結果保存起來,供以後使用。

7、數據檢索:按用戶的要求找出有用的信息。

8、數據排序：把數據按一定要求排成次序。

參考資料來源：網路-數據處理

3. 數據處理的常用方式

數據分析與處理方法：
採集
在大數據的採集過程中，其主要特點和挑戰是並發數高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網站和淘寶，它們並發的訪問量在峰值時達到上百萬，所以需要在採集端部署大量資料庫才能支撐。並且如何在這些資料庫之間進行負載均衡和分片的確是需要深入的思考和設計。
統計/分析
統計與分析主要利用分布式資料庫，或者分布式計算集群來對存儲於其內的大量數據進行普通的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基於MySQL的列式存儲Infobright等，而一些批處理，或者基於半結構化數據的需求可以使用Hadoop。統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。
導入/預處理
雖然採集端本身會有很多資料庫，但是如果要對這些大量數據進行有效的分析，還是應該將這些來自前端的數據導入到一個集中的大型分布式資料庫，或者分布式存儲集群，並且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鍾的導入量經常會達到百兆，甚至千兆級別。
挖掘
與前面統計和分析過程不同的是，數據挖掘一般沒有什麼預先設定好的主題，主要是在現有數據上面進行基於各種演算法的計算，從而起到預測的效果，從而實現一些高級別數據分析的需求。比較典型演算法有用於聚類的K-Means、用於統計學習的SVM和用於分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用於挖掘的演算法很復雜，並且計算涉及的數據量和計算量都很大，還有，常用數據挖掘演算法都以單線程為主。

4. 數據處理的常用方法有

1、列表法：是將實驗所獲得的數據用表格的形式進行排列的數據處理方法。列表法的作用有兩種：一是記錄實驗數據，二是能顯示出物理量間的對應關系。
2、圖示法：是用圖象來表示物理規律的一種實驗數據處理方法。一般來講,一個物理規律可以用三種方式來表述:文字表述、解析函數關系表述、圖象表示。
3、圖解法：是在圖示法的基礎上，利用已經作好的圖線，定量地求出待測量或某些參數或經驗公式的方法。
4、逐差法：由於隨機誤差具有抵償性，對於多次測量的結果，常用平均值來估計最佳值，以消除隨機誤差的影響。
5、最小二乘法：通過實驗獲得測量數據後，可確定假定函數關系中的各項系數，這一過程就是求取有關物理量之間關系的經驗公式。從幾何上看，就是要選擇一條曲線，使之與所獲得的實驗數據更好地吻合。

5. 數據處理的方式有哪幾種（簡單說明）

典型的計算方法有：
1、列表法
2、作圖法
3、逐差法
4、最小二乘法
等等...

6. 數據處理方式

什麼是大數據：大數據（big data），指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

大數據的5V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性），網路隨便找找都有。

大數據處理流程：

1.是數據採集,搭建數據倉庫，數據採集就是把數據通過前端埋點，介面日誌調用流數據，資料庫抓取，客戶自己上傳數據，把這些信息基礎數據把各種維度保存起來，感覺有些數據沒用（剛開始做只想著功能，有些數據沒採集， 後來被老大訓了一頓）。

2.數據清洗/預處理：就是把收到數據簡單處理，比如把ip轉換成地址，過濾掉臟數據等。

3.有了數據之後就可以對數據進行加工處理，數據處理的方式很多，總體分為離線處理，實時處理，離線處理就是每天定時處理，常用的有阿里的maxComputer,hive,MapRece,離線處理主要用storm,spark,hadoop,通過一些數據處理框架，可以吧數據計算成各種KPI,在這里需要注意一下，不要只想著功能，主要是把各種數據維度建起來，基本數據做全，還要可復用，後期就可以把各種kpi隨意組合展示出來。

4.數據展現，數據做出來沒用，要可視化，做到MVP，就是快速做出來一個效果，不合適及時調整，這點有點類似於Scrum敏捷開發，數據展示的可以用datav，神策等，前端好的可以忽略，自己來畫頁面。

數據採集：

1.批數據採集，就是每天定時去資料庫抓取數據快照，我們用的maxComputer，可以根據需求，設置每天去資料庫備份一次快照，如何備份，如何設置數據源，如何設置出錯，在maxComputer都有文檔介紹，使用maxComputer需要注冊阿里雲服務

2.實時介面調用數據採集，可以用logHub,dataHub,流數據處理技術,DataHub具有高可用，低延遲，高可擴展，高吞吐的特點。

高吞吐：最高支持單主題（Topic）每日T級別的數據量寫入，每個分片（Shard）支持最高每日8000萬Record級別的寫入量。

實時性：通過DataHub ，您可以實時的收集各種方式生成的數據並進行實時的處理，

設計思路：首先寫一個sdk把公司所有後台服務調用介面調用情況記錄下來，開辟線程池，把記錄下來的數據不停的往dataHub,logHub存儲，前提是設置好接收數據的dataHub表結構

3.前台數據埋點，這些就要根據業務需求來設置了，也是通過流數據傳輸到數據倉庫，如上述第二步。

數據處理：

數據採集完成就可以對數據進行加工處理，可分為離線批處理，實時處理。

1.離線批處理maxComputer，這是阿里提供的一項大數據處理服務，是一種快速，完全託管的TB/PB級數據倉庫解決方案，編寫數據處理腳本，設置任務執行時間，任務執行條件，就可以按照你的要求，每天產生你需要數據

2.實時處理：採用storm/spark,目前接觸的只有storm,strom基本概念網上一大把，在這里講一下大概處理過程，首先設置要讀取得數據源，只要啟動storm就會不停息的讀取數據源。Spout，用來讀取數據。Tuple：一次消息傳遞的基本單元，理解為一組消息就是一個Tuple。stream,用來傳輸流，Tuple的集合。Bolt：接受數據然後執行處理的組件,用戶可以在其中執行自己想要的操作。可以在里邊寫業務邏輯，storm不會保存結果，需要自己寫代碼保存，把這些合並起來就是一個拓撲，總體來說就是把拓撲提交到伺服器啟動後，他會不停讀取數據源，然後通過stream把數據流動，通過自己寫的Bolt代碼進行數據處理，然後保存到任意地方，關於如何安裝部署storm，如何設置數據源，網上都有教程，這里不多說。

數據展現：做了上述那麼多，終於可以直觀的展示了，由於前端技術不行，借用了第三方展示平台datav,datav支持兩種數據讀取模式，第一種，直接讀取資料庫，把你計算好的數據，通過sql查出，需要配置數據源，讀取數據之後按照給定的格式，進行格式化就可以展現出來

@jiaoready @jiaoready 第二種採用介面的形式，可以直接採用api，在數據區域配置為api，填寫介面地址，需要的參數即可，這里就不多說了。

7. 常用的數據處理方法

前面所述的各種放射性測量方法，包括航空γ能譜測量，地面γ能譜測量和氡及其子體的各種測量方法，都已用在石油放射性勘查工作之中。數據處理工作量大的是航空γ能譜測量。

（一）數據的光滑

為了減少測量數據的統計漲落影響及地面偶然因素的影響，對原始測量數據進行光滑處理。消除隨機影響。

放射性測量數據光滑，最常用的光滑方法是多項式擬合移動法。在要光滑測量曲線上任取一點，並在該點兩邊各取m個點，共有2m+1點；用一個以該點為中心的q階多項式對這一曲線段作最小二乘擬合，則該多項式在中心點的值，即為平滑後該點的值。用此法逐點處理，即得光滑後的曲線，光滑計算公式（公式推導略）為

核輻射場與放射性勘查

式中：y_i+j、為第i點光滑前後的值；為系數；為規范化常數。

五點光滑的二次多項式的具體光滑公式為

核輻射場與放射性勘查

如果一次光滑不夠理想，可以重復進行1～2次，但不宜過多重復使用。

光滑方法，還有傅里葉變換法，以及多點平均值法，多點加權平均值法等。

使用那種方法選定之後，一般都通過編程存入計算機，進行自動化處理。

圖7-2-1是美國東得克薩斯州一個油田上的航空γ放射性異常中的兩條剖面圖（A-B和B-C）。經過光滑處理後，低值連續，清晰明顯，與油田對應的位置較好。說明四個油藏都在鈾（w（U））和鉀（w（K））的低值位置。

圖7-2-1 美國東得克薩斯油田航空γ放射性異常剖面圖

（二）趨勢面分析方法

趨勢分析主要反映測量變數在大范圍（區域）連續變化的趨勢。在原始數據中常含有許多隨機誤差和局部點異常，直觀反映是測量曲線上下跳動或小范圍突變。使用趨勢分析處理是為了得到研究區域輻射場的總體分布趨勢。

趨勢面分析，實質上是利用多元回歸分析，進行空間數據擬合。根據計算方法不同，又可分為圖解法趨勢面分析和數學計演算法趨勢面分析。圖解法趨勢面分析的基本思路是對觀測數據採用二維方塊取平均值法，或滑動平均值法計算趨勢值。方塊平均值法是對每一方塊內的數據取平均值，作為該方塊重心點的趨勢值。滑動平均值法是設想一個方框，放在測區數據分布的平面圖上，把落在方框內的測點數據取平均值，記在方框中心上，最後得到趨勢面等值圖。一般講做一次是不夠的，需要如此重復3～9次。一般都有專門程序可供使用（不作詳述）。如圖7-1-14（a）為原始數據等值圖，中間有許多呈點狀高值或低值分布，經過四次趨勢面分析之後可以清楚地看出三個低值異常區。

計演算法趨勢面分析是選定一個數學函數，對觀測數據進行擬合，給出一個曲線。擬合函數常用的有多項式函數，傅里葉級數，三角函數以及指數函數的多項式函數等。目前以二維多項式函數應用最多。

（三）岩性影響及其校正分析

不同岩石、不同土壤中放射性核素含量是有差別，有的相差還比較大，有的相差甚至超過10%～20%。這是油田放射性測量的主要影響因素。

一個測區可能出現不同土壤分布，把不同放射性水平的土壤上測量結果校正到同一水平（叫歸一化方法）是非常重要的工作，主要有下面三種方法。

1.確定土壤核素含量的歸一化方法

利用γ能譜測量資料，根據測區地質圖或土壤分布圖，分別統計總道的總計數率和鈾、釷、鉀含量的平均值。然後進行逐點校正，即逐點減去同類土壤的平均值，其剩餘值即為異常值。

核輻射場與放射性勘查

式中：分別為第 i類土壤中測點 j的總計數和鈾、釷、鉀含量。分別為i類土壤的平均總計數和鈾、釷、鉀的平均值。分別為扣除各類土壤平均值後的剩餘值，即為各測點不同土壤校正後的歸一化的油田的放射性異常。根據需要可以用來繪制平面剖面圖或等值線圖，即為經過不同岩性（土壤）校正後的油田放射性異常圖。

這個方法的缺點是計算工作量較大。

2.用釷歸一化校正鈾、鉀含量

對自然界各種岩石中的釷、鈾、鉀含量的相關性研究（D.F.Saundr，1987），發現它們的含量具有很好的相關性（表7-2-2）；而且隨岩性不同含量確有相應的增加或減小，據此可以利用釷的含量計算鈾和鉀的含量。釷有很好的化學穩定性，釷在地表環境條件下基本不流失。因此，利用釷含量計算出來的鈾、鉀含量，應當是與油藏存在引起的鈾、鉀

表7-2-2 幾種岩石的釷、鈾、鉀含量

異常無關的正常值。用每點實測的鈾、鉀，減去計算的正常值，那麼每個測點的鈾、鉀剩餘值（差值）應當是油氣藏引起的異常值。這樣就校正了岩性（土壤）變化的影響。

對於航空γ能譜測量的總道計數率，也同樣可以用釷含量（或計數率）歸一化校正總道計數率，效果也非常好。

具體方法如下。

1）對鈾、鉀的歸一化校正。

2）根據航空γ能譜測量或地面γ能譜測量數據，按測線計算鈾、釷、鉀含量。根據岩石（土壤）中釷與鈾，釷與鉀的相關關系（表7-2-1），認為鈾和釷存在線性關系，鉀和釷存在對數線性關系，於是建立相應的擬合關系式。

核輻射場與放射性勘查

式中：A、B、A′、B′為回歸系數（對每個測區得到一組常數）；w_i（Th）為測點i實測的釷含量；w_點i（U）、w_點i（K）為i點由釷含量計算的鈾、鉀含量。

計算每個測點的鈾、鉀剩餘值：

核輻射場與放射性勘查

式中：w_i（U）、w_i（K）為測點i的實測值。剩餘值Δw_i（U）和Δw_i（K）為油藏引起的異常值。

南陽-泌陽航空γ能譜測區，測得的釷、鈾、鉀含量，按釷含量分間隔，計算其平均值，列於表7-2-3。根據此表中數據，由（7-2-7）和（7-2-8）式得：

核輻射場與放射性勘查

表7-2-3 南陽-泌陽航空γ能譜計算的釷、鈾、鉀

3）對總道γ計數率的歸一化校正。釷比較穩定，可以認為與油氣藏形成的放射性異常無關。經研究得知，原岩的總道計數率（I_點i）與釷含量的對數值存在近似的線性關系，即

核輻射場與放射性勘查

根據γ能譜實測數據求得實測i點的總道計數率（I_i）與I_點i的差值：

核輻射場與放射性勘查

即為消除岩性影響的，由油氣藏引起的γ總計數率異常值。

圖7-2-2 釷歸一化校正岩性影響的結果

圖7-2-2為任丘雙河油田，兩條測線（1100線和11010線）。用釷歸一化法，消除岩性影響的結果。油田邊界高值和油田上方低值，除鉀11010線外都比較明顯清晰。與已知油田邊界基本一致。

8. 大數據技術常用的數據處理方式有哪些

大數據技術常用的數據處理方式，有傳統的ETL工具利用多線程處理文件的方式；有寫MapRece，有利用Hive結合其自定義函數，也可以利用Spark進行數據清洗等，每種方式都有各自的使用場景。

在實際的工作中，需要根據不同的特定場景來選擇數據處理方式。

1、傳統的ETL方式

傳統的ETL工具比如Kettle、Talend、Informatica等，可視化操作，上手比較快，但是隨著數據量上升容易導致性能出問題，可優化的空間不大。

2、Maprece

寫Maprece進行數據處理，需要利用java、python等語言進行開發調試，沒有可視化操作界面那麼方便，在性能優化方面，常見的有在做小表跟大表關聯的時候，可以先把小表放到緩存中(通過調用Maprece的api)，另外可以通過重寫Combine跟Partition的介面實現，壓縮從Map到rece中間數據處理量達到提高數據處理性能。

3、Hive

在沒有出現Spark之前，Hive可謂獨占鰲頭，涉及離線數據的處理基本都是基於Hive來做的，Hive採用sql的方式底層基於Hadoop的Maprece計算框架進行數據處理，在性能優化上也不錯。

4、Spark

Spark基於內存計算的准Maprece，在離線數據處理中，一般使用Spark sql進行數據清洗，目標文件一般是放在hdf或者nfs上，在書寫sql的時候，盡量少用distinct，group by recebykey 等之類的運算元，要防止數據傾斜。

9. 論述題試述數據處理的方式有哪兩種及各自的優缺點

數據交換的方式和優缺點：

存儲轉發模式：
（1）優點：保證了數據幀的無差錯傳輸。
（2）缺點：增加了傳輸延遲，而且傳輸延遲隨數據幀的長度增加而增加。
快速轉發模式：
（1）優點：數據傳輸的低延遲。
（2）缺點：無法對數據幀進行校驗和糾錯。
自由分段模式：
這種模式的性能介於存儲轉發模式和快速轉發模式之間。自由分段模式是交換機接收數據幀時，一旦檢測到該數據幀不是沖突碎片就進行轉發操作。沖突碎片是因為網路沖突而受損的數據幀碎片，其特徵是長度小於64位元組。沖突碎片並不是有效的數據幀，應該被丟棄。因此，交換機的自由分段模式實際上就是一旦數據幀已接收的部分超過64位元組，就開始進行轉發處理。

10. 數據處理的基本方法有哪些

典型的計算方法有：1、列表法2、作圖法3、逐差法4、最小二乘法等等