銀行大數據技術有哪些

『壹』 大數據處理的關鍵技術都有哪些

大數據關鍵技術涵蓋數據存儲、處理、應用等多方面的技術，根據大數據的處理過程，可將其分為大數據採集、大數據預處理、大數據存儲及管理、大數據處理、大數據分析及挖掘、大數據展示等。

1、大數據採集技術

大數據採集技術是指通過 RFID 數據、感測器數據、社交網路交互數據及移動互聯網數據等方式獲得各種類型的結構化、半結構化及非結構化的海量數據。

因為數據源多種多樣，數據量大，產生速度快，所以大數據採集技術也面臨著許多技術挑戰，必須保證數據採集的可靠性和高效性，還要避免重復數據。

2、大數據預處理技術

大數據預處理技術主要是指完成對已接收數據的辨析、抽取、清洗、填補、平滑、合並、規格化及檢查一致性等操作。

因獲取的數據可能具有多種結構和類型，數據抽取的主要目的是將這些復雜的數據轉化為單一的或者便於處理的結構，以達到快速分析處理的目的。

3、大數據存儲及管理技術

大數據存儲及管理的主要目的是用存儲器把採集到的數據存儲起來，建立相應的資料庫，並進行管理和調用。

4、大數據處理

大數據的應用類型很多，主要的處理模式可以分為流處理模式和批處理模式兩種。批處理是先存儲後處理，而流處理則是直接處理。

『貳』 金融行業中的大數據應用有哪些方面

金融行業會運用到很多大數據，從投資結構上來看，銀行將會成為金融類企業中的重要部分，證券和報表分列第二和第三位。國內不少銀行已經開始嘗試通過大數據來驅動業務運營，如中信銀行信用卡中心使用大數據技術實現了實時營銷，廣大銀行建立了社交網路信息資料庫，招商銀行則利用大數據發展小微貸款等等。我這邊常會涉及到的大數據應用工具有finereport報表工具。

『叄』 信用卡大數據都包含了哪些數據

其實它就是一種面向貸款機構的第三方徵信查詢系統，它利用大數據的技術手段將各類網貸平台的貸款記錄整合復在了一起。在借款用戶提交申請時，如果用戶的網貸大數據顯示的信用記錄太差，會影響到借款的申請。信用卡里的大數據是由成制千上萬的互聯網數據組成，也得到了廣泛的應用，現在也有很多銀行都會利用大數據而作為他們審批貸款和信用卡時百的風控參考，則大數據可以檢測到個人近期的度用卡和用貸情況，互聯網消費金融，回以及線上線下分期情況，從而來綜合評估個人信用狀況，通常來說個人的風險指數偏高，就說明此人信用不佳，還款能力不足，處於風險控制考慮，銀行自然就會拒絕你問的信用卡和貸款申請。通過卡詳查獲取一份信用卡風險報告答，裡面會提供你答的信用卡消費行為分析和信用卡交易行為分析來解析你的信用卡使用情況，幫助持卡人更好的了解用卡信用卡。

『肆』 銀行it技術有哪些

1、融合架構：主機平台+分布式開放平台

核心賬務系統，部署在主機平台上

主機平台可用性高，運行穩定，適合作為銀行核心系統運行平台，但也存在風險集中、處理能力瓶頸、敏捷性不夠、價格昂貴等不足。

主機資源用於核心賬務系統，利用開放平台處理查詢業務或者普通維護性交為了更好地利用主機資源，建設銀行提出「主機+ 開放」的融合架構，確保「好鋼用在刀刃上」。

查詢系統，部署在分布式平台上

查詢系統包括：個人客戶綜合積分、貸記卡管理、客戶信息查詢、對公/對私存款查詢、客戶渠道。

目前各類查詢交易總計下移日均交易量1.4億筆，節省主機資源2.6萬MIPS，相當於8.22億元。

查詢系統與賬務系統分離，既分散了系統風險，又提高了並發處理能力。

最近三年在實際業務量年均增長32% 的情況下，主機MIPS資源零增長，取得了節省投資的良好效果。

在分布式開放平台上，X86伺服器替代小型機

在開放平台的選擇上，由於同等計算能力的X86伺服器價格只有小型機的1/20，所以首先在新一代架構的應用(AP)層中大量採用X86伺服器替代小型機，隨著替代技術逐步成熟，繼續提高在資料庫(DB)層使用X86伺服器的比例，進一步減少小型機的數量。

自新一代實施以來，應用層和資料庫層部署的X86伺服器替代小型機已累計節省12.2億元。新一代實施前後，小型機占開放計算資源比例已從1/3逐步下降到1/12，計算資源的總體可靠性和可用性保持不降。

2、私有雲，能提供1000台以上的虛擬機

建設銀行自2013 年起採用雲計算技術來構建基礎設施環境，將計算資源、存儲資源、網路資源統一打包成共享資源池。

根據每種資源池的特點，採用不同的雲部署單元(CDP)模型，構建了X86虛擬化資源池、Power 虛擬化資源池、HP資源池以及大數據資源池等。

以雲部署單元為基本單位進行部署、更新和替換，統一了標准，提高了通用性，降低了成本。

目前已經在私有雲環境中部署了1000台以上物理機，提供10000台以上虛擬機，有力地支撐了「 新一代」核心系統上線。

3、網路架構：一網雙平面，可靠性達到99.999%

新一代核心網路平台採用「一網雙平面」的網路架構，用多協議標簽交換技術，採用層次化、模塊化的網路結構，將網路局部可靠性逐步提高到99.999% 水平，支持無中斷維護。

新一代區域網通過推廣櫃頂接入架構，以虛擬埠聚合技術為基礎，採用插入式服務架構來提高網路綜合服務能力，接入層交換機使用板卡延伸技術，大規模標准化網路交換機配置。

通過採用「雙平面」冗餘設計避免邏輯單點，採用分散部署模式來分散整體性風險，逐步採用自動化變更手段杜絕操作失誤。

採用松耦合的理念，模塊化、層次化，網路服務資源池化，將二三層網路與四七層網路服務解除耦合關系，減少管理復雜度，有利於橫向擴展，大幅提高數據中心網路平台的可靠性、健壯性。

4、安全：「多層水閘式」防範體系

原安全架構的安全功能與應用系統集成實現，嵌入到應用系統中，與應用系統緊密耦合，導致安全策略與安全功能固化。

「新一代安全架構」的應用系統只集成通用、標准化的安全代理，所有安全功能通過安全代理為應用系統提供，後台的安全服務可以統一調度、靈活組合，安全服務的調整不會導致業務系統的改造。

5、標准池化存儲結構

NAS、SAN 存儲

SAN 存儲從應用(AP)層、資料庫(DB)層混合部署轉變為全資料庫層部署，大面積在應用層使用NAS 存儲替代SAN 存儲。

打造「存儲標准化」

實行存儲配置標准化、資源池化，屏蔽了不同產品帶來的差異化，減少了維護成本，同時實現了存儲資源快速、靈活的供給。

採用龐大的「邊緣—核心—邊緣」三層SAN 存儲網路

實現了樓宇內任意地點的存儲網路接入。

6、自主研發雲管理平台

自主開發了全面自動化的雲管理平台，先後實施了IT 基礎設施的伺服器安裝、版本部署、服務啟停、日常巡檢、配置比對等一系列自動化工具，極大提升了數據中心運營管理的自動化水平，形成全生命周期的自動化管理模式，完美支持了應用項目以及相關IT 框架、平台、技術和安全組件的投產上線。

創造了5 個工作日內交付上千台虛擬化伺服器的行業紀錄，在簡化流程、提高效率的同時，有效控制了操作風險。

以上建設銀行的IT技術。

『伍』 商業銀行應用大數據之策

商業銀行應用大數據之策

隨著以社交網路為代表的web2.0 的興起、智能手機的普及、各種監控系統及感測器的大量分布，人類正在進入一個數據大爆炸的時代，「大數據」的概念應運而生。大數據被譽為繼雲計算、物聯網之後IT產業又一次顛覆性的技術變革，已經引起各方面的高度關注。大數據的意義在於從海量數據中及時識別和獲取信息價值，金融業在IT基礎設施、數據掌控力和人才富集度方面較之其他產業更具優勢，具備了深度「掘金」的潛力。但是，大數據也給金融業帶來劇烈的挑戰與沖擊，我國商業銀行需要樹立「數據治行」理念，明確大數據戰略的頂層設計，加強大數據基礎設施建設，實施穩妥的大數據安全策略，方能從容迎接大數據時代。

大數據帶來的沖擊與挑戰

(一)傳統發展戰略面臨沖擊。傳統銀行發展戰略，是在預計未來金融政策、經濟環境的前提下,根據現有銀行人員、網點、客戶、資本、存貸款規模等資源佔有狀況,以及競爭對手、客戶需求狀況，來確定其戰略目標及發展路徑和方式的。步入大數據時代後, 對數據資源的佔有及其整合應用能力是決定一家銀行成功與否的關鍵因素,而傳統的網點、人員、資本等因素則趨於淡化,未來商業銀行的客戶營銷,將主要依靠對不同類型客戶需求數據的掌握，並開發設計出安全、便捷、個性化的金融產品。因此，這就要求各商業銀行在評判競爭對手實力與自身優勢時，要注重考量IT能力與大數據實力；在制定戰略目標時，必須兼顧財務承受能力來決定對大數據的投入,從而確保戰略規劃與大數據支撐相適應；在確定戰略目標的實施路徑時，必須將互聯網金融、電子渠道、數據的收集與挖掘作為向客戶提供服務的重要方式和手段。

(二)傳統經營方式面臨重大轉變。在大數據時代, 金融業務與互聯網深度融合, 商業銀行的經營方式將會發生徹底改變。在產品開發、營銷方面,通過對海量交易、行為數據的收集、分析和挖掘,科學構建數據模型, 分層客戶的不同金融需求可以得到充分展示,進而針對客戶需要、市場需求研發產品、開展營銷,真正做到以客戶為中心開發設計產品,並實現精準營銷,而不是以銀行為中心製造、推銷產品。在風險防控方面,許多商業銀行在風險分析和評估中，雖然已經引入了數量分析方式,但是因歷史數據的積累不足,經驗判斷依然在風險管理、決策中起主導作用。依託大數據，對客戶實施多維度評價,其風險模型將會更加貼近市場實際,對客戶違約率的取值變得更加精準,長期以來銀行憑經驗辦業務的經營範式將會得到根本改善。在績效管理方面,可以通過對大數據的有效利用,並藉助通訊、視頻、移動終端等技術手段，對商業銀行員工的工作方式、頻率、業績等做出更加准確的評價,有助於充分發揮績效考核的正向激勵作用。

(三)數據基礎設施建設面臨嚴峻考驗。進入大數據時代，數據來源的多元化主要體現在兩個層面：一是在金融業務鏈條之外。移動網路設備和網路社交媒體產生了極其豐富的實時化的客戶行為數據，在這種環境下，客戶行為偏好數據往往隱藏在社交網路之中。如果要實施「大數據工程」，商業銀行必須搜集開放的網路數據，但現有的銀行IT系統、技術手段還無力搜集、分析、利用大數據。二是在金融業務鏈條內部。隨著專業細分與金融外包的趨勢愈加明朗，由一家或少數幾家銀行掌控關鍵業務數據的時代已經走向終結，業務數據產生、流轉於金融業務鏈條的各個結點，業務數據、客戶行為數據不可能自動集成至某個機構，這對「大數據工程」的實施提出了嚴峻挑戰。

商業銀行的應對與謀變

(一)優先搞好大數據戰略的頂層設計。大數據戰略必須超越電子銀行部或IT部門的狹隘視角，面向全局、面向未來，以客戶需求、市場需求為導向，建立自身的大數據架構。完整的客戶數據必須是多維度的，至少包含以下幾個方面：一是客戶的基本信息，譬如信用信息、社交關系信息等；二是客戶的偏好信息，譬如金融產品偏好、金融服務偏好等；三是客戶的行為信息，譬如銀行范圍內的行為數據、外部行為數據等；四是客戶的分析數據，譬如客戶風險度、客戶價值度等。要想使這些不同維度的數據信息具有分析價值，首先必須具有合理的數據結構。但現實情況卻不盡如人意，各銀行的數據結構基本上是條塊分割的。為此，各銀行必須優先搞好頂層機制的設計與改革，逐步打破業務界限，重組業務流程，確保數據靈活性。

在總行層面上，需要抓緊制定大數據工作規劃，建立大數據工作推進機制。主管數據部門負責組織協調，對大數據工作進行統籌規劃、集中管理；業務部門負責大數據的搜集、整理、存儲、分析和應用，全面採集、多方式整合商業銀行內外部各類數據，形成數據管理、數據使用、數據推廣的有效工作機制。

(二)科學謀劃和打造大數據平台。一方面各銀行要積極與社交網路、電商、電信等大數據平台開展戰略合作，建立數據信息交流、共享機制，全面梳理、整合客戶各類信息，將金融服務與社交網路、電子商務、移動網路等深度融合。另一方面各銀行也可考慮自行打造大數據平台，以便牢牢掌握核心話語權。

(三)積極建設大數據倉庫。著眼於大數據挖掘和分析，對海量數據的持續實時處理，建設數據倉庫項目，為服務質量改善、經營效率提升、服務模式創新提供支撐，全面提升運營管理水平。在項目建設中，通過梳理整合經營管理關鍵數據，建立數據管控體系，搭建基礎數據平台。通過數據倉庫建設，運用數據挖掘和分析，全方位調整管理模式、產品結構、營銷模式、信息戰略，從根本上提高風險管理、成本績效管理、資產負債管理和客戶關系管理水平，實現多系統數據的業務邏輯整合，形成全行級客戶、產品等主題數據。

(四)以大數據思維推進金融互聯網化戰略。進入大數據時代，金融產業與信息技術將實現深度融合, 金融電子化的深度、廣度將日漸強化。各銀行必須順勢而為, 緊緊追隨迅猛發展的互聯網、移動互聯網浪潮, 積極實施金融互聯化戰略, 嘗試構建電子化金融商業模式, 著力發展直銷銀行、社區智能銀行、互聯網金融、電子商務等業務。這就要求各銀行應當從發展戰略的高度，將金融互聯網作為未來提供金融服務、提升核心競爭力的主渠道。

(五)依託大數據技術實現風險管理的精細化。大數據時代，商業銀行可以消除信息孤島，全面整合客戶的多渠道交易數據，通過經營者個人金融、消費、行為等信息進行授信，有效破解傳統信貸風險管理中的信息不對稱難題，降低信貸風險。為此，各銀行必須深化風險管理體制改革，運用大數據理念來構建以客戶為中心的全面風險管理體系，理順部門間的職責，淡化部門色彩，徹底打破以往小數據模式下形成的部門、機構、區域、產品間數據信息分隔管理以及由分支機構各自分散識別風險的做法，形成按客戶集中統一管理數據信息和高效協調機制。

要積極推行把現場調查與非現場數據信息挖掘分析相結合、模型篩查與經驗判斷相結合，以定性信息與定量財務、經營等多重數據信息的勾稽核驗等為重點內容的風險管理創新。總行要通過大量數據信息的挖掘分析，勾畫出客戶的全景視圖，更加全面地評估客戶風險狀況，有效提升貸前風險判斷和貸後風險預警能力。

要進一步完善基於大數據信息平台的集中式風險審查審批體制，採用大數據方式來驗證借款人的數據信息，校正申報機構或部門對借款人的風險判斷。運用合理的參數和模型，計量出可接受的最大風險敞口，精準識別和動態審查借款人的每一筆融資業務。再利用習慣性數據信息和常識性、邏輯性分析，作出更專業的判斷，使風險識別、防範、決策更加可靠、更加貼近實際。

以上是小編為大家分享的關於商業銀行應用大數據之策的相關內容，更多信息可以關注環球青藤分享更多干貨

『陸』 大數據給銀行業、保險業、證券業、徵信業分別帶來了哪些大變革

大數據給銀行業、保險業、證券業、徵信業分別帶來了哪些大變革？

一、什麼是大數據？
大數據已然成為當下一個十分熱門的詞彙，大數據，是指基於社會的進步與經濟的飛速發展、科技的進步，對人們生產生活中產生的大量數據信息有效並及時地處理分析的一種技術，具有數據量大、數據種類繁多、價值密度高、處理速度快四大主要特徵。

大數據的最終目標就是希望通過大量的數據對相關行業領域的動態，進行更加高效、智能化的管理，而銀行業、保險業、證券業、徵信業因為其龐大的數據規模所以它必然需要一個大數據計算系統作為其發展的重要支撐。

二、大數據對銀行業、保險業、證券業、徵信業發展的大變革
銀行業、保險業、證券業、徵信業這些行業其實就是圍繞信息進行的，說到底誰的的用戶信息量大，誰就是「數據為王」。誰掌握了數據，誰就擁有風險定價能力，誰就可以獲得高額的風險收益，最終贏得競爭優勢。

1、大數據推動相關行業的戰略轉型。而大數據技術正是其深入挖掘既有數據，找准市場定位，明確資源配置方向，推動業務創新的重要工具。業務轉型的關鍵在於創新，但現階段國內金融機構的創新往往淪為監管套利，沒有能夠基於挖掘客戶內在需求，提供更有價值的服務。就銀行業來說，現在的銀行業已經跳出了以儲蓄為主的業務體系，轉而與保險、證券、徵信等相融合，推動了整體的變革。
2、大數據技術能夠降低管理和運行成本，提高了服務水平和利潤。通過大數據應用和分析，金融機構能夠准確地定位內部管理缺陷，制訂有針對性的改進措施，實行符合自身特點的管理模式，進而降低管理運營成本。特別是隨著大量的線上交易活動的展開，進一步降低了線下活動帶來的一系列成本，也使得相關成本更加透明，方便監管的進行。此外，大數據還提供了全新的溝通渠道和營銷手段，可以更好的了解客戶的消費習慣和行為特徵，及時、准確地把握市場營銷效果，給與用戶更加高水平的服務。
3、大數據技術有助於增強風險控制能力。金融機構可以擯棄原來過度依靠客戶提供財務報表獲取信息的業務方式，轉而對其資產價格、賬務流水、相關業務活動等流動性數據進行動態和全程的監控分析，從而有效提升客戶信息透明度。目前，通過基於大數據，整合客戶的資產負債、交易支付、流動性狀況、納稅和信用記錄等，對客戶行為進行全方位的評價，給相關行業特別是徵信業的發展帶來了巨大機遇，用戶的徵信活動相較之前更加的及時有效詳細。

『柒』 大數據能為銀行做什麼

隨著移動互聯網、雲計算、物聯網和社交網路的廣泛應用，人類社會已經邁入一個全新的「大數據」信息化時代。而銀行信貸的未來，也離不開大數據。
國內不少銀行已經開始嘗試通過大數據來驅動業務運營，如中信銀行信用卡中心使用大數據技術實現了實時營銷，光大銀行建立了社交網路信息資料庫，招商銀行則利用大數據發展小微貸款。從發展趨勢來看，銀行大數據應用總的可以分為四大方面：
第一方面：客戶畫像應用。
客戶畫像應用主要分為個人客戶畫像和企業客戶畫像。個人客戶畫像包括人口統計學特徵、消費能力數據、興趣數據、風險偏好等；企業客戶畫像包括企業的生產、流通、運營、財務、銷售和客戶數據、相關產業鏈上下游等數據。值得注意的是，銀行擁有的客戶信息並不全面，基於自身擁有的數據有時難以得出理想的結果甚至可能得出錯誤的結論。
比如，如果某位信用卡客戶月均刷卡8次，平均每年打4次客服電話，從未有過投訴，按照傳統的數據分析，該客戶是一位滿意度較高流失風險較低的客戶。但如果看到該客戶的微博，真實情況是：工資卡和信用卡不在同一家銀行，還款不方便，好幾次打客服電話沒接通，客戶多次在微博上抱怨，該客戶流失風險較高。所以銀行不僅僅要考慮銀行自身業務所採集到的數據，更應考慮整合外部更多的數據，以擴展對客戶的了解。包括：
（1）客戶在社交媒體上的行為數據（如光大銀行建立了社交網路信息資料庫）。通過打通銀行內部數據和外部社會化的數據可以獲得更為完整的客戶拼圖，從而進行更為精準的營銷和管理；
（2）客戶在電商網站的交易數據，如建設銀行則將自己的電子商務平台和信貸業務結合起來，阿里金融為阿里巴巴用戶提供無抵押貸款，用戶只需要憑借過去的信用即可；
（3）企業客戶的產業鏈上下游數據。如果銀行掌握了企業所在的產業鏈上下游的數據，可以更好掌握企業的外部環境發展情況，從而可以預測企業未來的狀況；
（4）其他有利於擴展銀行對客戶興趣愛好的數據，如網路廣告界目前正在興起的DMP數據平台的互聯網用戶行為數據。
第二方面：精準營銷
在客戶畫像的基礎上銀行可以有效的開展精準營銷，包括：
（1）實時營銷。實時營銷是根據客戶的實時狀態來進行營銷，比如客戶當時的所在地、客戶最近一次消費等信息來有針對地進行營銷（某客戶採用信用卡采購孕婦用品，可以通過建模推測懷孕的概率並推薦孕婦類喜歡的業務）；或者將改變生活狀態的事件（換工作、改變婚姻狀況、置居等）視為營銷機會；
（2）交叉營銷。即不同業務或產品的交叉推薦，如招商銀行可以根據客戶交易記錄分析，有效地識別小微企業客戶，然後用遠程銀行來實施交叉銷售；
（3）個性化推薦。銀行可以根據客戶的喜歡進行服務或者銀行產品的個性化推薦，如根據客戶的年齡、資產規模、理財偏好等，對客戶群進行精準定位，分析出其潛在金融服務需求，進而有針對性的營銷推廣；
（4）客戶生命周期管理。客戶生命周期管理包括新客戶獲取、客戶防流失和客戶贏回等。如招商銀行通過構建客戶流失預警模型，對流失率等級前20%的客戶發售高收益理財產品予以挽留，使得金卡和金葵花卡客戶流失率分別降低了15個和7個百分點。
第三方面：風險管控
包括中小企業貸款風險評估和欺詐交易識別等手段。
（1）中小企業貸款風險評估。銀行可通過企業的產、流通、銷售、財務等相關信息結合大數據挖掘方法進行貸款風險分析，量化企業的信用額度，更有效的開展中小企業貸款。
（2）實時欺詐交易識別和反洗錢分析。銀行可以利用持卡人基本信息、卡基本信息、交易歷史、客戶歷史行為模式、正在發生行為模式（如轉賬）等，結合智能規則引擎進行實時的交易反欺詐分析。如IBM金融犯罪管理解決方案幫助銀行利用大數據有效地預防與管理金融犯罪，摩根大通銀行則利用大數據技術追蹤盜取客戶賬號或侵入自動櫃員機(ATM)系統的罪犯。
第四方面：運營優化。
（1）市場和渠道分析優化。通過大數據，銀行可以監控不同市場推廣渠道尤其是網路渠道推廣的質量，從而進行合作渠道的調整和優化。同時，也可以分析哪些渠道更適合推廣哪類銀行產品或者服務，從而進行渠道推廣策略的優化。
（2）產品和服務優化：銀行可以將客戶行為轉化為信息流，並從中分析客戶的個性特徵和風險偏好，更深層次地理解客戶的習慣，智能化分析和預測客戶需求，從而進行產品創新和服務優化。如興業銀行目前對大數據進行初步分析，通過對還款數據挖掘比較區分優質客戶，根據客戶還款數額的差別，提供差異化的金融產品和服務方式。
（3）輿情分析：銀行可以通過爬蟲技術，抓取社區、論壇和微博上關於銀行以及銀行產品和服務的相關信息，並通過自然語言處理技術進行正負面判斷，尤其是及時掌握銀行以及銀行產品和服務的負面信息，及時發現和處理問題；對於正面信息，可以加以總結並繼續強化。同時，銀行也可以抓取同行業的銀行正負面信息，及時了解同行做的好的方面，以作為自身業務優化的借鑒。
銀行是經營信用的企業，數據的力量尤為關鍵和重要。在「大數據」時代，以互聯網為代表的現代信息科技，特別是門戶網站、社區論壇、微博、微信等新型傳播方式的蓬勃發展，移動支付、搜索引擎和雲計算的廣泛應用，構建起了全新的虛擬客戶信息體系，並將改變現代金融運營模式。
大數據海量化、多樣化、傳輸快速化和價值化等特徵，將給商業銀行市場競爭帶來全新的挑戰和機遇。數據時代，智者生存，未來的銀行信貸，是從數據中贏得未來，是從風控中獲得安穩。

『捌』 大數據核心技術有哪些

大數據技術的體系龐大且復雜，基礎的技術包含數據的採集、數據預處理、分布式存儲、NoSQL資料庫、數據倉庫、機器學習、並行計算、可視化等各種技術范疇和不同的技術層面。首先給出一個通用化的大數據處理框架，主要分為下面幾個方面：數據採集與預處理、數據存儲、數據清洗、數據查詢分析和數據可視化。

一、數據採集與預處理

對於各種來源的數據，包括移動互聯網數據、社交網路的數據等，這些結構化和非結構化的海量數據是零散的，也就是所謂的數據孤島，此時的這些數據並沒有什麼意義，數據採集就是將這些數據寫入數據倉庫中，把零散的數據整合在一起，對這些數據綜合起來進行分析。數據採集包括文件日誌的採集、資料庫日誌的採集、關系型資料庫的接入和應用程序的接入等。在數據量比較小的時候，可以寫個定時的腳本將日誌寫入存儲系統，但隨著數據量的增長，這些方法無法提供數據安全保障，並且運維困難，需要更強壯的解決方案。

Flume NG作為實時日誌收集系統，支持在日誌系統中定製各類數據發送方，用於收集數據，同時，對數據進行簡單處理，並寫到各種數據接收方(比如文本，HDFS，Hbase等)。Flume NG採用的是三層架構：Agent層，Collector層和Store層，每一層均可水平拓展。其中Agent包含Source，Channel和 Sink，source用來消費（收集）數據源到channel組件中，channel作為中間臨時存儲，保存所有source的組件信息，sink從channel中讀取數據，讀取成功之後會刪除channel中的信息。

NDC，Netease Data Canal，直譯為網易數據運河系統，是網易針對結構化資料庫的數據實時遷移、同步和訂閱的平台化解決方案。它整合了網易過去在數據傳輸領域的各種工具和經驗，將單機資料庫、分布式資料庫、OLAP系統以及下游應用通過數據鏈路串在一起。除了保障高效的數據傳輸外，NDC的設計遵循了單元化和平台化的設計哲學。

Logstash是開源的伺服器端數據處理管道，能夠同時從多個來源採集數據、轉換數據，然後將數據發送到您最喜歡的 「存儲庫」 中。一般常用的存儲庫是Elasticsearch。Logstash 支持各種輸入選擇，可以在同一時間從眾多常用的數據來源捕捉事件，能夠以連續的流式傳輸方式，輕松地從您的日誌、指標、Web 應用、數據存儲以及各種 AWS 服務採集數據。

Sqoop，用來將關系型資料庫和Hadoop中的數據進行相互轉移的工具，可以將一個關系型資料庫(例如Mysql、Oracle)中的數據導入到Hadoop(例如HDFS、Hive、Hbase)中，也可以將Hadoop(例如HDFS、Hive、Hbase)中的數據導入到關系型資料庫(例如Mysql、Oracle)中。Sqoop 啟用了一個 MapRece 作業（極其容錯的分布式並行計算）來執行任務。Sqoop 的另一大優勢是其傳輸大量結構化或半結構化數據的過程是完全自動化的。

流式計算是行業研究的一個熱點，流式計算對多個高吞吐量的數據源進行實時的清洗、聚合和分析，可以對存在於社交網站、新聞等的數據信息流進行快速的處理並反饋，目前大數據流分析工具有很多，比如開源的strom，spark streaming等。

Strom集群結構是有一個主節點（nimbus）和多個工作節點（supervisor）組成的主從結構，主節點通過配置靜態指定或者在運行時動態選舉，nimbus與supervisor都是Storm提供的後台守護進程，之間的通信是結合Zookeeper的狀態變更通知和監控通知來處理。nimbus進程的主要職責是管理、協調和監控集群上運行的topology（包括topology的發布、任務指派、事件處理時重新指派任務等）。supervisor進程等待nimbus分配任務後生成並監控worker（jvm進程）執行任務。supervisor與worker運行在不同的jvm上，如果由supervisor啟動的某個worker因為錯誤異常退出（或被kill掉），supervisor會嘗試重新生成新的worker進程。

當使用上游模塊的數據進行計算、統計、分析時，就可以使用消息系統，尤其是分布式消息系統。Kafka使用Scala進行編寫，是一種分布式的、基於發布/訂閱的消息系統。Kafka的設計理念之一就是同時提供離線處理和實時處理,以及將數據實時備份到另一個數據中心，Kafka可以有許多的生產者和消費者分享多個主題，將消息以topic為單位進行歸納；Kafka發布消息的程序稱為procer，也叫生產者，預訂topics並消費消息的程序稱為consumer，也叫消費者；當Kafka以集群的方式運行時，可以由一個服務或者多個服務組成，每個服務叫做一個broker，運行過程中procer通過網路將消息發送到Kafka集群，集群向消費者提供消息。Kafka通過Zookeeper管理集群配置，選舉leader，以及在Consumer Group發生變化時進行rebalance。Procer使用push模式將消息發布到broker，Consumer使用pull模式從broker訂閱並消費消息。Kafka可以和Flume一起工作，如果需要將流式數據從Kafka轉移到hadoop，可以使用Flume代理agent，將Kafka當做一個來源source，這樣可以從Kafka讀取數據到Hadoop。

Zookeeper是一個分布式的，開放源碼的分布式應用程序協調服務，提供數據同步服務。它的作用主要有配置管理、名字服務、分布式鎖和集群管理。配置管理指的是在一個地方修改了配置，那麼對這個地方的配置感興趣的所有的都可以獲得變更，省去了手動拷貝配置的繁瑣，還很好的保證了數據的可靠和一致性，同時它可以通過名字來獲取資源或者服務的地址等信息，可以監控集群中機器的變化，實現了類似於心跳機制的功能。

二、數據存儲

Hadoop作為一個開源的框架，專為離線和大規模數據分析而設計，HDFS作為其核心的存儲引擎，已被廣泛用於數據存儲。

HBase，是一個分布式的、面向列的開源資料庫，可以認為是hdfs的封裝，本質是數據存儲、NoSQL資料庫。HBase是一種Key/Value系統，部署在hdfs上，克服了hdfs在隨機讀寫這個方面的缺點，與hadoop一樣，Hbase目標主要依靠橫向擴展，通過不斷增加廉價的商用伺服器，來增加計算和存儲能力。

Phoenix，相當於一個Java中間件，幫助開發工程師能夠像使用JDBC訪問關系型資料庫一樣訪問NoSQL資料庫HBase。

Yarn是一種Hadoop資源管理器，可為上層應用提供統一的資源管理和調度，它的引入為集群在利用率、資源統一管理和數據共享等方面帶來了巨大好處。Yarn由下面的幾大組件構成：一個全局的資源管理器ResourceManager、ResourceManager的每個節點代理NodeManager、表示每個應用的Application以及每一個ApplicationMaster擁有多個Container在NodeManager上運行。

Mesos是一款開源的集群管理軟體，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等應用架構。

Redis是一種速度非常快的非關系資料庫，可以存儲鍵與5種不同類型的值之間的映射，可以將存儲在內存的鍵值對數據持久化到硬碟中，使用復制特性來擴展性能，還可以使用客戶端分片來擴展寫性能。

Atlas是一個位於應用程序與MySQL之間的中間件。在後端DB看來，Atlas相當於連接它的客戶端，在前端應用看來，Atlas相當於一個DB。Atlas作為服務端與應用程序通訊，它實現了MySQL的客戶端和服務端協議，同時作為客戶端與MySQL通訊。它對應用程序屏蔽了DB的細節，同時為了降低MySQL負擔，它還維護了連接池。Atlas啟動後會創建多個線程，其中一個為主線程，其餘為工作線程。主線程負責監聽所有的客戶端連接請求，工作線程只監聽主線程的命令請求。

Ku是圍繞Hadoop生態圈建立的存儲引擎，Ku擁有和Hadoop生態圈共同的設計理念，它運行在普通的伺服器上、可分布式規模化部署、並且滿足工業界的高可用要求。其設計理念為fast analytics on fast data。作為一個開源的存儲引擎，可以同時提供低延遲的隨機讀寫和高效的數據分析能力。Ku不但提供了行級的插入、更新、刪除API，同時也提供了接近Parquet性能的批量掃描操作。使用同一份存儲，既可以進行隨機讀寫，也可以滿足數據分析的要求。Ku的應用場景很廣泛，比如可以進行實時的數據分析，用於數據可能會存在變化的時序數據應用等。

在數據存儲過程中，涉及到的數據表都是成千上百列，包含各種復雜的Query，推薦使用列式存儲方法，比如parquent,ORC等對數據進行壓縮。Parquet 可以支持靈活的壓縮選項，顯著減少磁碟上的存儲。

三、數據清洗

MapRece作為Hadoop的查詢引擎，用於大規模數據集的並行計算，」Map（映射）」和」Rece（歸約）」，是它的主要思想。它極大的方便了編程人員在不會分布式並行編程的情況下，將自己的程序運行在分布式系統中。

隨著業務數據量的增多，需要進行訓練和清洗的數據會變得越來越復雜，這個時候就需要任務調度系統，比如oozie或者azkaban，對關鍵任務進行調度和監控。

Oozie是用於Hadoop平台的一種工作流調度引擎，提供了RESTful API介面來接受用戶的提交請求(提交工作流作業)，當提交了workflow後，由工作流引擎負責workflow的執行以及狀態的轉換。用戶在HDFS上部署好作業(MR作業)，然後向Oozie提交Workflow，Oozie以非同步方式將作業(MR作業)提交給Hadoop。這也是為什麼當調用Oozie 的RESTful介面提交作業之後能立即返回一個JobId的原因，用戶程序不必等待作業執行完成（因為有些大作業可能會執行很久(幾個小時甚至幾天)）。Oozie在後台以非同步方式，再將workflow對應的Action提交給hadoop執行。

Azkaban也是一種工作流的控制引擎，可以用來解決有多個hadoop或者spark等離線計算任務之間的依賴關系問題。azkaban主要是由三部分構成：Relational Database，Azkaban Web Server和Azkaban Executor Server。azkaban將大多數的狀態信息都保存在MySQL中，Azkaban Web Server提供了Web UI，是azkaban主要的管理者，包括project的管理、認證、調度以及對工作流執行過程中的監控等；Azkaban Executor Server用來調度工作流和任務，記錄工作流或者任務的日誌。

流計算任務的處理平台Sloth，是網易首個自研流計算平台，旨在解決公司內各產品日益增長的流計算需求。作為一個計算服務平台，其特點是易用、實時、可靠，為用戶節省技術方面（開發、運維）的投入，幫助用戶專注於解決產品本身的流計算需求。

四、數據查詢分析

Hive的核心工作就是把SQL語句翻譯成MR程序，可以將結構化的數據映射為一張資料庫表，並提供 HQL(Hive SQL)查詢功能。Hive本身不存儲和計算數據，它完全依賴於HDFS和MapRece。可以將Hive理解為一個客戶端工具，將SQL操作轉換為相應的MapRece jobs，然後在hadoop上面運行。Hive支持標準的SQL語法，免去了用戶編寫MapRece程序的過程，它的出現可以讓那些精通SQL技能、但是不熟悉MapRece 、編程能力較弱與不擅長Java語言的用戶能夠在HDFS大規模數據集上很方便地利用SQL 語言查詢、匯總、分析數據。

Hive是為大數據批量處理而生的，Hive的出現解決了傳統的關系型資料庫(MySql、Oracle)在大數據處理上的瓶頸 。Hive 將執行計劃分成map->shuffle->rece->map->shuffle->rece…的模型。如果一個Query會被編譯成多輪MapRece，則會有更多的寫中間結果。由於MapRece執行框架本身的特點，過多的中間過程會增加整個Query的執行時間。在Hive的運行過程中，用戶只需要創建表，導入數據，編寫SQL分析語句即可。剩下的過程由Hive框架自動的完成。

Impala是對Hive的一個補充，可以實現高效的SQL查詢。使用Impala來實現SQL on Hadoop，用來進行大數據實時查詢分析。通過熟悉的傳統關系型資料庫的SQL風格來操作大數據，同時數據也是可以存儲到HDFS和HBase中的。Impala沒有再使用緩慢的Hive+MapRece批處理，而是通過使用與商用並行關系資料庫中類似的分布式查詢引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分組成），可以直接從HDFS或HBase中用SELECT、JOIN和統計函數查詢數據，從而大大降低了延遲。Impala將整個查詢分成一執行計劃樹，而不是一連串的MapRece任務，相比Hive沒了MapRece啟動時間。

Hive 適合於長時間的批處理查詢分析，而Impala適合於實時互動式SQL查詢，Impala給數據人員提供了快速實驗，驗證想法的大數據分析工具，可以先使用Hive進行數據轉換處理，之後使用Impala在Hive處理好後的數據集上進行快速的數據分析。總的來說：Impala把執行計劃表現為一棵完整的執行計劃樹，可以更自然地分發執行計劃到各個Impalad執行查詢，而不用像Hive那樣把它組合成管道型的map->rece模式，以此保證Impala有更好的並發性和避免不必要的中間sort與shuffle。但是Impala不支持UDF，能處理的問題有一定的限制。

Spark擁有Hadoop MapRece所具有的特點，它將Job中間輸出結果保存在內存中，從而不需要讀取HDFS。Spark 啟用了內存分布數據集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。Spark 是在 Scala 語言中實現的，它將 Scala 用作其應用程序框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密集成，其中的 Scala 可以像操作本地集合對象一樣輕松地操作分布式數據集。

Nutch 是一個開源Java 實現的搜索引擎。它提供了我們運行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬蟲。

Solr用Java編寫、運行在Servlet容器（如Apache Tomcat或Jetty）的一個獨立的企業級搜索應用的全文搜索伺服器。它對外提供類似於Web-service的API介面，用戶可以通過http請求，向搜索引擎伺服器提交一定格式的XML文件，生成索引；也可以通過Http Get操作提出查找請求，並得到XML格式的返回結果。

Elasticsearch是一個開源的全文搜索引擎，基於Lucene的搜索伺服器，可以快速的儲存、搜索和分析海量的數據。設計用於雲計算中，能夠達到實時搜索，穩定，可靠，快速，安裝使用方便。

還涉及到一些機器學習語言，比如，Mahout主要目標是創建一些可伸縮的機器學習演算法，供開發人員在Apache的許可下免費使用；深度學習框架Caffe以及使用數據流圖進行數值計算的開源軟體庫TensorFlow等，常用的機器學習演算法比如，貝葉斯、邏輯回歸、決策樹、神經網路、協同過濾等。

五、數據可視化

對接一些BI平台，將分析得到的數據進行可視化，用於指導決策服務。主流的BI平台比如，國外的敏捷BI Tableau、Qlikview、PowrerBI等，國內的SmallBI和新興的網易有數（可點擊這里免費試用）等。

在上面的每一個階段，保障數據的安全是不可忽視的問題。

基於網路身份認證的協議Kerberos，用來在非安全網路中，對個人通信以安全的手段進行身份認證，它允許某實體在非安全網路環境下通信，向另一個實體以一種安全的方式證明自己的身份。

控制許可權的ranger是一個Hadoop集群許可權框架，提供操作、監控、管理復雜的數據許可權，它提供一個集中的管理機制，管理基於yarn的Hadoop生態圈的所有數據許可權。可以對Hadoop生態的組件如Hive，Hbase進行細粒度的數據訪問控制。通過操作Ranger控制台，管理員可以輕松的通過配置策略來控制用戶訪問HDFS文件夾、HDFS文件、資料庫、表、欄位許可權。這些策略可以為不同的用戶和組來設置，同時許可權可與hadoop無縫對接。

『玖』 大數據技術在金融行業中的典型應用

大數據技術在金融行業中的典型應用
近年來，我國金融科技快速發展，在多個領域已經走在世界前列。大數據、人工智慧、雲計算、移動互聯網等技術與金融業務深度融合，大大推動了我國金融業轉型升級，助力金融更好地服務實體經濟，有效促進了金融業整體發展。在這一發展過程中，又以大數據技術發展最為成熟、應用最為廣泛。從發展特點和趨勢來看，「金融雲」快速建設落地奠定了金融大數據的應用基礎，金融數據與其他跨領域數據的融合應用不斷強化，人工智慧正在成為金融大數據應用的新方向，金融行業數據的整合、共享和開放正在成為趨勢，給金融行業帶來了新的發展機遇和巨大的發展動力。
大數據在金融行業的典型應用場景
大數據涉及的行業過於廣泛，除金融外，還包括政治、教育、傳媒、醫學、商業、工農業、互聯網等多個方面，各行業對大數據的定義目前尚未統一。大數據的特點可歸納為「4V」。第一，數據體量大（Volume），海量性也許是與大數據最相關的特徵。第二，數據類型繁多（Variety），大數據既包括以事務為代表的傳統結構化數據，還包括以網頁為代表的半結構化數據和以視頻、語音信息為代表的非結構化數據。第三，價值密度低（Value），大數據的體量巨大，但數據中的價值密度卻很低。比如幾個小時甚至幾天的監控視頻中，有價值的線索或許只有幾秒鍾。第四，處理速度快（Velocity），大數據要求快速處理，時效性強，要進行實時或准實時的處理。
金融行業一直較為重視大數據技術的發展。相比常規商業分析手段，大數據可以使業務決策具有前瞻性，讓企業戰略的制定過程更加理性化，實現生產資源優化分配，依據市場變化迅速調整業務策略，提高用戶體驗以及資金周轉率，降低庫存積壓的風險，從而獲取更高的利潤。
當前，大數據在金融行業典型的應用場景有以下幾個方面：
在銀行業的應用主要表現在兩個方面：一是信貸風險評估。以往銀行對企業客戶的違約風險評估多基於過往的信貸數據和交易數據等靜態數據，內外部數據資源整合後的大數據可提供前瞻性預測。二是供應鏈金融。利用大數據技術，銀行可以根據企業之間的投資、控股、借貸、擔保及股東和法人之間的關系，形成企業之間的關系圖譜，利於企業分析及風險控制。
在證券行業的應用主要表現為：一是股市行情預測。大數據可以有效拓寬證券企業量化投資數據維度，幫助企業更精準地了解市場行情，通過構建更多元的量化因子，投研模型會更加完善。二是股價預測。大數據技術通過收集並分析社交網路如微博、朋友圈、專業論壇等渠道上的結構化和非結構化數據，形成市場主觀判斷因素和投資者情緒打分，從而量化股價中人為因素的變化預期。三是智能投資顧問。智能投資顧問業務提供線上投資顧問服務，其基於客戶的風險偏好、交易行為等個性化數據，依靠大數據量化模型，為客戶提供低門檻、低費率的個性化財富管理方案。
在互聯網金融行業的應用，一是精準營銷。大數據通過用戶多維度畫像，對客戶偏好進行分類篩選，從而達到精準營銷的目的。二是消費信貸。基於大數據的自動評分模型、自動審批系統和催收系統可降低消費信貸業務違約風險。
金融大數據的典型案例分析
為實時接收電子渠道交易數據，整合銀行內系統業務數據。中國交通銀行通過規則欲實現快速建模、實時告警與在線智能監控報表等功能，以達到實時接收官網業務數據，整合客戶信息、設備畫像、位置信息、官網交易日誌、瀏覽記錄等數據的目的。
該系統通過為交通銀行卡中心構建反作弊模型、實時計算、實時決策系統，幫助擁有海量歷史數據，日均增長超過兩千萬條日誌流水的銀行卡中心，形成電子渠道實時反欺詐交易監控能力。利用分布式實時數據採集技術和實時決策引擎，幫助信用卡中心高效整合多系統業務數據，處理海量高並發線上行為數據，識別惡意用戶和欺詐行為，並實時預警和處置；通過引入機器學習框架，對少量數據進行分析、挖掘構建並周期性更新反欺詐規則和反欺詐模型。
系統上線後，該銀行迅速監控電子渠道產生的虛假賬號、偽裝賬號、異常登錄、頻繁登錄等新型風險和欺詐行為；系統穩定運行，日均處理逾兩千萬條日誌流水、實時識別出近萬筆風險行為並進行預警。數據接入、計算報警、案件調查的整體處理時間從數小時降低至秒級，監測時效提升近3000倍，上線3個月已幫助卡中心挽回數百萬元的風險損失。
網路的搜索技術正在全面注入網路金融。網路金融使用的梯度增強決策樹演算法可以分析大數據高維特點，在知識分析、匯總、聚合、提煉等多個方面有其獨到之處，其深度學習能力利用數據挖掘演算法能夠較好地解決大數據價值密度低等問題。網路「磐石」系統基於每日100億次搜索行為，通過200多個維度為8.6億賬號精確畫像，高效劃分人群，能夠為銀行、互聯網金融機構提供身份識別、反欺詐、信息檢驗、信用分級等服務。該系統累計為網路內部信貸業務攔截數十萬欺詐用戶，攔截數十億不良資產、減少數百萬人力成本，累計合作近500家社會金融機構，幫助其提升了整體風險防控水平。
金融大數據應用面臨的挑戰及對策
大數據技術為金融行業帶來了裂變式的創新活力，其應用潛力有目共睹，但在數據應用管理、業務場景融合、標准統一、頂層設計等方面存在的瓶頸也有待突破。
一是數據資產管理水平仍待提高。主要體現在數據質量不高、獲取方式單一、數據系統分散等方面。
二是應用技術和業務探索仍需突破。主要體現在金融機構原有的數據系統架構相對復雜，涉及的系統平台和供應商較多，實現大數據應用的技術改造難度很大。同時，金融行業的大數據分析應用模型仍處於起步階段，成熟案例和解決方案仍相對較少，需要投入大量的時間和成本進行調研和試錯。系統誤判率相對較高。
三是行業標准和安全規范仍待完善。金融大數據缺乏統一的存儲管理標准和互通共享平台，對個人隱私的保護上還未形成可信的安全機制。
四是頂層設計和扶持政策還需強化。體現在金融機構間的數據壁壘較為明顯，各自為戰問題突出，缺乏有效的整合協同。同時，行業應用缺乏整體性規劃，分散、臨時、應激等特點突出，信息價值開發仍有較大潛力。
以上問題，一方面需要國家出台促進金融大數據發展的產業規劃和扶持政策，同時，也需要行業分階段推動金融數據開放、共享和統一平台建設，強化行業標准和安全規范。只有這樣，大數據技術才能在金融行業中穩步應用發展，不斷推動金融行業的發展提升。

『拾』 哪些關鍵性的技術推動和促進了大數據金融的發展,就重要的一個當面進行描述

摘要 （1）大數據技術能夠提升銀行業服務質量