駕馭大數據包含哪些方面難題

1. 大數據時代，電信運營商如何「點石成金」

大數據風起雲涌。對於大數據中蘊含的商業價值，有人形象地將其稱為「數據鑽出石油」。充分利用大數據技術，從海量堆積的交互數據中發現帶有趨勢性、前瞻性的信息，能夠孕育出驚人的社會價值和商業價值。 然而，即便放眼全球，我們看到的大數據應用案例還鮮有電信運營商的身影，與互聯網領域的諸多探索相比，他們略顯平淡，大規模鑽出「石油」就更談不上了。面對這種情況，相信很多業內人士都在思考這些問題：大數據究竟會給電信運營商帶來哪些新機遇？大數據時代下的電信運營商面臨什麼樣的挑戰？電信運營商今後將如何運籌帷幄、構建面向智慧運營的大數據體系？ 從4W到4V： 運營商擁有先天優勢 根據信息爆炸時代的特徵，業界將大數據總結為「4V」體量（Volume）、多樣（Variety）、速度（Velocity）和價值（Value）。體量意味著海量的數據，多樣是指數據類型繁多，速度主要指數據被創建和移動的速度快，而價值是處理數據的目標、從各種形式呈現的復雜數據中挖掘有用的東西。 電信運營商作為信息服務的基礎服務商，其提供的服務用一個簡單的詞來概括就是「4W」Who、When、Where、What，在使用服務時，哪些用戶、需要聯系誰、什麼時間、處於什麼位置、做些什麼，這些信息無疑都需要經過運營商的管道。 對比「4V」和「4W」，我們可以發現兩者之間的契合之處，通信用戶數以億計的基數保證了數據的海量和多樣性，通信網路的實時承載保證了數據的速度，更重要的是，運營商還可以搜集到用戶位置、大體收入等有價值的數據，進而為精準營銷提供參考。因此，運營商在掌握用戶行為數據方面具有先天優勢，這是一般互聯網廠商所望塵莫及的。隨著智能手機和高速網路的普及，運營商能夠獲得的用戶行為數據還將更為豐富。 數據科學家、《大數據時代》的作者維克托·邁爾·舍恩伯格表示，在大數據時代，擁有數據的公司無疑將取得巨大的成功。因為他們具有洞察力，大數據會提供他們全新的洞察力。從這個角度看，運營商無疑坐擁一座天然的寶藏，但是能否挖掘、提煉出這些礦藏中的價值將決定運營商能否把握住大數據帶來的機遇。 由大入微： 構建智慧的大數據體系 由微入大易，由大入微難。對電信運營商來說，將無數具體而微的信息匯集起來其實並不難，真正的難點在於如何點石成金，如何「駕馭」這紛繁復雜的數據，如何存儲、整合、分析、汲取出真正有價值的內容，並創造性地使用它。 大流量並不一定帶來大數據，電信運營商獲得的數據中大部分都是「桀驁不馴」的它們被稱為非結構數據，這種數據本身並沒有太多價值。目前，電信運營商在大數據方面的探索還僅僅處於起步階段：一方面，用戶的行為、軌跡、狀態等數據散在網路各個環節中，形成信息資產的成本非常高；另一方面，運營商大數據挖掘手段還很不充足，如何從龐大的數據中分析出有價值的信息並找到合理的商業模式，提高「駕馭」數據的能力，成為電信運營商面臨的挑戰。 那麼電信運營商該如何去構建面向智慧運營的大數據體系？ 對電信運營商來說，可以利用大數據實現自身的精確化營銷和精細化運營，在這方面，國內已經有運營商作出了嘗試。使用Hadoop等大數據處理工具，通過分析用戶的興趣圖譜、關系圖譜、行為定向，再結合自身的業務推出量身定製的服務，如針對出差較多的商務人士，向他們推薦漫遊套餐；對愛好移動上網的用戶，向他們提供流量包……這本身就屬於大數據應用的范疇，而且，運營商通過對業務資源和財務等數據的綜合分析，可以讓決策層進行快速的市場決策，從而搶占市場制高點。 未來，運營商還可以拓展第三方模式，加大開放合作力度，與產業鏈各個環節開展合作，加快對大數據經營商業模式的探索，不斷釋放其管道中龐大數據的潛在力量，將數據轉化成「真金白銀」。在這方面，國外電信運營商的探索給我們提供了思路。西班牙電信去年成立了名為「動態洞察」的大數據業務部門，它可以為客戶提供數據分析打包服務，幫助客戶把握重大變化趨勢。法國電信的移動業務部門也開始嘗試挖掘大數據的潛在價值，比如，它承建了一個法國高速公路數據監測項目，對每天產生的幾百萬條記錄進行分析，從而提高了道路通暢率。更具顛覆性的是Verizon，其數據業務的盈利收入在其整個業務中佔比非常高，其中就有聯合第三方機構對其用戶群進行大數據分析，再將有價值的信息提供給政府或企業獲取的額外價值。 分析人士指出，數據化程度越高的行業，其大數據的應用場景越多，能夠帶來的價值也就越高。數據重構商業，雖然國內在這方面的探索還未形成規模，但對運營商來說卻代表著前進的方向憑借自身優勢，將數據分析包裝為服務，提供給政府、商場、銀行等第三方機構進行決策，從而實現商業模式的創新，並在與互聯網企業的競爭中佔得先機。不過，需要明確的是，這里的數據包裝並不是非法採集用戶個人信息，更不是販賣用戶個性化隱私，真正的大數據應該是用加工實現增值，用分析來指導決策，而非原始數據信息本身的低層次濫用。

2. 嫻呰皥鍩轟簬澶ф暟鎹鏃朵唬鐨勬満閬囦笌鎸戞垬璁烘枃

嫻呰皥鍩轟簬澶ф暟鎹鏃朵唬鐨勬満閬囦笌鎸戞垬璁烘枃鎺ㄨ崘

銆銆鍦ㄥ︿範鍜屽伐浣滀腑錛屽ぇ瀹舵誨皯涓嶄簡鎺ヨЕ璁烘枃鍚э紝璁烘枃鐨勭被鍨嬪緢澶氾紝鍖呮嫭瀛﹀勾璁烘枃銆佹瘯涓氳烘枃銆佸︿綅璁烘枃銆佺戞妧璁烘枃銆佹垚鏋滆烘枃絳夈備負浜嗚╂偍鍦ㄥ啓璁烘枃鏃舵洿鍔犵畝鍗曟柟渚匡紝浠ヤ笅鏄鎴戠簿蹇冩暣鐞嗙殑嫻呰皥鍩轟簬澶ф暟鎹鏃朵唬鐨勬満閬囦笌鎸戞垬璁烘枃錛屼粎渚涘弬鑰冿紝甯屾湜鑳藉熷府鍔╁埌澶у躲

銆銆嫻呰皥鍩轟簬澶ф暟鎹鏃朵唬鐨勬満閬囦笌鎸戞垬璁烘枃

銆銆1銆佸ぇ鏁版嵁鐨勫熀鏈姒傚喌

銆銆澶ф暟鎹(Big Data)鏄鎸囬偅浜涜秴榪囦紶緇熸暟鎹搴撶郴緇熷勭悊鑳藉姏鐨勬暟鎹錛屽叾鍏鋒湁浠ヤ笅鍥涗釜鍩烘湰鐗規э紝鍗蟲搗閲忔с佸氭牱鎬с佹槗鍙樻с侀珮閫熸с傚悓鏃舵暟鎹綾誨瀷綣佸氥佹暟鎹浠峰煎瘑搴︾浉瀵硅緝浣庛佸勭悊閫熷害蹇銆佹椂鏁堟ц佹眰楂樼瓑涔熸槸鍏朵富瑕佺壒寰併

銆銆2銆佸ぇ鏁版嵁鐨勬椂浠ｅ獎鍝

銆銆澶ф暟鎹錛屽圭粡嫻庛佹斂娌匯佹枃鍖栫瓑鏂歸潰閮藉叿鏈夎緝涓烘繁榪滅殑褰卞搷錛屽叾鍙甯鍔╀漢浠榪涜岄噺鍖栫＄悊錛屾洿鍏風戝︽у拰閽堝規э紝寰楁暟鎹鑰呭緱澶╀笅銆傚ぇ鏁版嵁瀵逛簬鏃朵唬鐨勫獎鍝嶄富瑕佸寘鎷浠ヤ笅鍑犱釜鏂歸潰錛

銆銆(1)鈥滃ぇ鏁版嵁鍐崇瓥鈥濇洿鍔犵戝︽湁鏁堛傚傛灉浜轟滑浠ュぇ鏁版嵁鍒嗘瀽浣滀負鍩虹榪涜屽喅絳栵紝鍙鍏ㄩ潰鑾峰彇鐩稿叧鍐崇瓥淇℃伅錛岃╂暟鎹涓誨煎喅絳栵紝榪欑嶆柟娉曞繀灝嗕績榪涘喅絳栨柟寮忕殑鍒涙柊鍜屾敼鍙橈紝褰誨簳鏀瑰彉浼犵粺鐨勫喅絳栨柟寮忥紝鎻愰珮鍐崇瓥鐨勭戝︽э紝騫舵帹鍔ㄤ俊鎮綆＄悊鍑嗗垯鐨勯噸鏂板畾浣嶃2009 騫寸垎鍙戠殑鐢插瀷H1N1 嫻佹劅灝辨槸鍒╃敤澶ф暟鎹鐨勪竴涓鎴愬姛鑼冧緥錛岃胺姝屽叕鍙擱氳繃鍒嗘瀽緗戜笂鎼滅儲鐨勫ぇ閲忚板綍錛屽垽鏂嫻佹劅鐨勪紶鎾婧愬湴錛屽叕鍏卞崼鐢熸満鏋勫畼鍛橀氳繃榪欎簺鏈変環鍊肩殑鏁版嵁淇℃伅閲囧彇浜嗘湁閽堝規х殑琛屽姩鍐崇瓥銆

銆銆(2)鈥滃ぇ鏁版嵁搴旂敤鈥濅績榪涜屼笟鋙嶅悎銆傝櫧鐒跺ぇ鏁版嵁婧愪簬閫氫俊浜т笟錛屼絾鍏跺獎鍝嶇粷涓嶅矓闄愪簬閫氫俊浜т笟錛屽娍蹇呬篃灝嗗瑰叾浠栦駭鐢熻緝涓烘繁榪滅殑褰卞搷銆傜洰鍓嶏紝澶ф暟鎹姝ｉ愭笎騫挎硾搴旂敤浜庡悇涓琛屼笟鍜岄嗗煙錛岃秺鏉ヨ秺澶氱殑浼佷笟寮濮嬩互鏁版嵁鍒嗘瀽涓鴻緟鍔╂墜孌靛姞寮哄叕鍙哥殑鏃ュ父綆＄悊鍜岃繍钀ョ＄悊錛屽傞害褰撳姵銆佽偗寰峰熀銆佽嫻鏋滃叕鍙哥瓑鏃楄埌涓撳崠搴楃殑浣嶇疆閮芥槸鍩轟簬澶ф暟鎹鍒嗘瀽瀹屾垚閫夊潃鐨勶紝鍙﹀栨暟鎹鍒嗘瀽鎶鏈鍦ㄩ浂鍞涓氫篃搴旂敤瓚婃潵瓚婂箍娉涖

銆銆(3)鈥滃ぇ鏁版嵁寮鍙戔濇帹鍔ㄦ妧鏈鍙橀潻銆傚ぇ鏁版嵁鐨勫簲鐢ㄩ渶奼傦紝鏄澶ф暟鎹鏂版妧鏈寮鍙戠殑婧愭硥銆傜浉淇￠殢鐫鏃朵唬鐨勪笉鏂鍙戝睍錛岃＄畻鏈虹郴緇熺殑鏁版嵁鍒嗘瀽鍜屾暟鎹鎸栨帢鍔熻兘灝嗛愭笎鍙栦唬浠ュ線鍗曠函渚濋潬浜轟滑鑷韜鍒ゆ柇鍔涚殑棰嗗煙搴旂敤銆傚熷姪榪欎簺鍒涙柊鍨嬬殑澶ф暟鎹搴旂敤錛屾暟鎹鐨勮兘閲忓皢浼氬眰灞傝鏀懼ぇ銆

銆銆鍙﹀栵紝闇瑕佹敞鎰忕殑鏄錛屽ぇ鏁版嵁鍦ㄤ釜浜洪殣縐佺殑鏂歸潰錛屽規槗閫犳垚涓浜涢殣縐佹硠婕忋傛垜浠闇瑕佽ょ湡涓ヨ們鐨勫瑰緟榪欎釜闂棰橈紝緇煎悎榪愮敤娉曞緥銆佸ｄ紶銆侀亾寰風瓑鎵嬫碉紝涓轟繚鎶や釜浜洪殣縐侊紝鍋氬嚭鏇寸Н鏋佺殑鍔鍔涖

銆銆3銆佸ぇ鏁版嵁鐨勫簲瀵圭瓥鐣

銆銆3.1 甯冨矓鍏抽敭鎶鏈鐮斿彂鍒涙柊銆

銆銆鐩鍓嶈岃█錛屽ぇ鏁版嵁鐨勬妧鏈闂ㄦ涜緝楂橈紝鍦ㄨ繖涓棰嗗煙鏈夌珵浜夊姏鐨勫氫負涓浜涘湪鏁版嵁瀛樺偍鍜屽垎鏋愮瓑鏂歸潰鏈変紭鍔跨殑淇℃伅鎶鏈浼佷笟銆備負淇冭繘浜т笟鍗囩駭錛屾垜浠蹇呴』鍔犲己鐮旂┒錛岄噸瑙嗙爺鍙戝拰搴旂敤鏁版嵁鍒嗘瀽鍏抽敭鎶鏈鍜屾柊鍏存妧鏈錛屽叿浣撳彲浠庝互涓嬪嚑涓鏂歸潰鍏ユ墜錛氱涓錛屽く瀹炲彂灞曞熀紜錛屼互澶ф暟鎹鏍稿績鎶鏈涓虹潃鎵嬬偣錛屽姞寮轟漢宸ユ櫤鑳姐佹満鍣ㄥ︿範銆佸晢涓氭櫤鑳界瓑棰嗗煙鐨勭悊璁虹爺絀跺拰鎶鏈鐮斿彂錛屼負澶ф暟鎹鐨勫簲鐢ㄥ犲畾鐞嗚哄熀紜銆備簩鏄鍔犲揩鍩虹鎶鏈(闈炵粨鏋勫寲鏁版嵁澶勭悊鎶鏈銆佸彲瑙嗗寲鎶鏈銆侀潪鍏崇郴鍨嬫暟鎹搴撶＄悊鎶鏈絳)鐨勭爺鍙戱紝騫朵嬌鍏朵笌鐗╄仈緗戙佺Щ鍔ㄤ簰鑱旂綉銆佷簯璁＄畻絳夋妧鏈鏈夋満鋙嶅悎錛屼負瑙ｅ喅鏂規堢殑鍒跺畾鎵撲笅鍧氬疄鍩虹銆備笁鏄鍩轟簬澶ф暟鎹搴旂敤錛岀潃閲嶅圭煡璇嗚＄畻( 鎼滅儲) 鎶鏈銆佺煡璇嗗簱鎶鏈銆佺綉欏墊悳緔㈡妧鏈絳夋牳蹇冩妧鏈榪涜岀爺鍙戱紝鍔犲己鍗曢」鎶鏈浜у搧鐮斿彂錛屽苟淇濊瘉璐ㄩ噺鐨勬彁鍗囷紝鍚屾椂淇冧嬌鍏朵笌鏁版嵁澶勭悊鎶鏈鐨勬湁鏈虹粨鍚堬紝寤虹珛縐戝︽妧鏈浣撶郴銆

銆銆3.2 鎻愰珮杞浠朵駭鍝佸彂灞曟按騫熾

銆銆涓鏄淇冭繘浠ヤ紒涓氫負涓誨肩殑浜у︾爺鍚堜綔錛屾彁楂樿蔣浠跺彂灞曟按騫熾備簩鏄榪愮敤浜戣＄畻鎶鏈淇冭繘淇℃伅鎶鏈鏈嶅姟涓氱殑杞鍨嬪拰鍙戝睍錛屼績榪涗腑鏂囩煡璇嗗簱銆佹暟鎹搴撲笌瑙勫垯搴撶殑寤鴻俱備笁鏄閲囧彇榧撳姳鏀跨瓥寮曞艱蔣紜浠朵紒涓氬拰鏈嶅姟浼佷笟搴旂敤鏂板瀷鎶鏈寮灞曟暟鎹淇℃伅鏈嶅姟錛屾彁渚涘叿鏈夎屼笟鐗硅壊鐨勭郴緇熼泦鎴愯В鍐蟲柟妗堛傚洓鏄浠ュぇ鍨嬩簰鑱旂綉鍏鍙哥壍澶達紝騫惰仛闆嗕腑灝忎簰鑱旂綉淇℃伅鏈嶅姟鎻愪緵鍟嗭紝瀵逛紭鍔胯祫婧愯繘琛岀郴緇熸暣鍚堬紝寮鎷撲笌鏁村悎鏈鍦熷寲淇℃伅鏈嶅姟銆備簲鏄浠ユ暟鎹澶勭悊杞浠跺晢鐗靛ご錛岃繖浜涜蔣浠跺晢蹇呴』鍏峰囦竴瀹氱殑鍩虹浼樺娍錛屽叾鍙鍏呭垎鍙戞尌鍚勮嚜鐨勬暟鎹浼樺娍鍜屾妧鏈浼樺娍錛屼紭鍔誇簰琛ワ紝鎻愰珮鏁版嵁杞浠跺紑鍙戞按騫籌紝鎻愰珮鏈嶅姟鍐呭圭殑綺劇『鎬у拰縐戝︽с傚悓鏃舵彁楂樺ぇ鏁版嵁瑙ｅ喅鏂規堟彁渚涘晢鐨勫競鍦鴻兘鍔涘拰闆嗘垚姘村鉤錛屼互淇濋殰鍏跺ぇ鏁版嵁涓哄悇琛屼笟棰嗗煙鎻愪緵杈冧負鎴愮啛鐨勮В鍐蟲柟妗堛

銆銆3.3 鍔犻熸帹榪涘ぇ鏁版嵁紺鴻寖搴旂敤銆

銆銆澶ф暟鎹鏃朵唬錛屾垜浠搴旂Н鏋佹帹榪涘ぇ鏁版嵁鐨勭ず鑼冨簲鐢錛屽彲浠庝互涓嬪嚑涓鏂歸潰榪涜屽疄璺碉細絎涓錛屽逛簬涓浜涙暟鎹閲忓ぇ鐨勯嗗煙(濡傞噾鋙嶃佽兘婧愩佹祦閫氥佺數淇°佸尰鐤楃瓑棰嗗煙)錛屽簲寮曞艱屼笟鍘傚晢縐鏋佸弬涓庯紝澶у姏鍙戝睍鏁版嵁鐩戞祴鍜屽垎鏋愩佹í鍚戞墿灞曞瓨鍌ㄣ佸晢涓氬喅絳栫瓑杞紜浠朵竴浣撳寲鐨勮屼笟搴旂敤瑙ｅ喅鏂規堛傜浜岋紝灝嗗ぇ鏁版嵁閫愭笎搴旂敤浜庢櫤鎱у煄甯傚緩璁懼強涓浜虹敓媧誨拰鏈嶅姟棰嗗煙錛屼績榪涙暟瀛楀唴瀹瑰姞宸ュ勭悊杞浠剁瓑鏈嶅姟鍙戝睍姘村鉤鐨勬彁楂樸傜涓夛紝淇冭繘琛屼笟鏁版嵁搴(鐗瑰埆鏄楂樼戞妧棰嗗煙)鐨勬繁搴﹀紑鍙戱紝寤鴻閽堝逛笉鍚岀殑琛屼笟棰嗗煙寤虹珛涓嶅悓鐨勪笓棰樻暟鎹搴擄紝浠ユ彁渚涚浉搴旂殑鍐呭瑰炲兼湇鍔★紝褰㈡垚鏈夌壒鑹插寲鐨勬湇鍔°傜鍥涳紝浠ラ噸鐐歸嗗煙鎴栭噸鐐逛紒涓氫負紿佺牬鍙ｏ紝瀵逛紒涓氭暟鎹榪涜岀浉搴斿垎鏋愩佹暣鐞嗗拰娓呮礂錛岄愭笎鍑忓皯鍜屽幓闄ら噸澶嶆暟鎹鍜屽櫔闊蟲暟鎹銆

銆銆3.4 浼樺寲瀹屽杽澶ф暟鎹鍙戝睍鐜澧冦

銆銆淇℃伅瀹夊叏闂棰樻槸澶ф暟鎹搴旂敤闈涓寸殑涓昏侀棶棰橈紝鍥犳わ紝鎴戜滑搴斿姞寮哄瑰熀浜庡ぇ鏁版嵁鐨勬儏鎶ユ敹闆嗗垎鏋愬伐浣滀俊鎮淇濆瘑闂棰樼殑鐮旂┒錛屽埗瀹氭湁鏁堢殑闃茶寖瀵圭瓥錛屽姞寮轟俊鎮瀹夊叏綆＄悊銆傚悓鏃訛紝涓轟紭鍖栧畬鍠勫ぇ鏁版嵁鍙戝睍鐜澧冿紝搴旈噰鍙栧悇縐嶉紦鍔辨斂絳(濡傚皢鍏峰囦竴瀹氳兘鍔涗紒涓氱殑鏁版嵁鍔犲伐澶勭悊涓氬姟鍒楀叆钀ヤ笟紼庝紭鎯犳斂絳栦韓鍙楄寖鍥)鏀鎸佹暟鎹鍔犲伐澶勭悊浼佷笟鐨勫彂灞曪紝淇冧嬌鍏舵彁楂樻暟鎹鍒嗘瀽澶勭悊鏈嶅姟鐨勬按騫沖拰璐ㄩ噺銆備笁鏄澶瀹炲ぇ鏁版嵁鐨勫簲鐢ㄥ熀紜錛屽畬鍠勭浉鍏充綋鍒舵満鍒訛紝浠ユ斂搴滀負鍒囧叆鐐癸紝鎺ㄥ姩淇℃伅璧勬簮鐨勯泦涓鍏變韓銆

銆銆鍋氬埌涓婇潰鐨勫嚑鐐癸紝褰撳ぇ鏁版嵁鏃朵唬鏉ヤ復鐨勬椂鍊欙紝闈涓村ぇ閲忔暟鎹灝嗕笉鏄鏉熸墜鏃犵瓥錛岃屾槸鎴愮瑰湪鑳革紝鑰屼粠鏁版嵁涓寰楀埌鐨勫ソ澶勪篃灝嗕績榪涘浗瀹跺拰浼佷笟鐨勫揩閫熷彂灞曘

銆銆澶ф暟鎹涓虹粡钀ョ殑妯鍚戣法鐣屻佷駭涓氱殑瓚婄晫娣瘋瀺銆佺敓浜т笌娑堣垂鐨勫悎涓鎻愪緵浜嗘湁鍒╂潯浠訛紝澶ф暟鎹蹇呭皢鍦ㄧぞ浼氱粡嫻庛佹斂娌匯佹枃鍖栫瓑鏂歸潰瀵逛漢浠鐢熸椿浜х敓宸ㄥぇ鐨勫獎鍝嶏紝鍚屾椂澶ф暟鎹鏃朵唬瀵逛漢綾葷殑鏁版嵁椹鵑┉鑳藉姏涔熸彁鍑轟簡鏂扮殑鎸戞垬涓庢満閬囥傞潰瀵規柊鐨勬寫鎴樹笌鍙戝睍鏈洪亣錛屾垜浠搴旂Н鏋佸簲瀵癸紝浠ユ帉鎻℃湭鏉ュぇ鏁版嵁鍙戝睍涓誨姩鏉冦

銆銆緇撴瀯

銆銆璁烘枃涓鑸鐢卞悕縐般佷綔鑰呫佹憳瑕併佸叧閿璇嶃佹ｆ枃銆佸弬鑰冩枃鐚鍜岄檮褰曠瓑閮ㄥ垎緇勬垚錛屽叾涓閮ㄥ垎緇勬垚錛堜緥濡傞檮褰曪級鍙鏈夊彲鏃犮

銆銆1銆佽烘枃棰樼洰

銆銆瑕佹眰鍑嗙『銆佺畝緇冦侀啋鐩銆佹柊棰栥

銆銆2銆佺洰褰

銆銆鐩褰曟槸璁烘枃涓涓昏佹佃惤鐨'綆琛ㄣ傦紙鐭綃囪烘枃涓嶅繀鍒楃洰褰曪級

銆銆3銆佸唴瀹規彁瑕

銆銆鏄鏂囩珷涓昏佸唴瀹圭殑鎽樺綍錛岃佹眰鐭銆佺簿銆佸畬鏁淬

銆銆4銆佸叧閿璇嶅畾涔

銆銆鍏抽敭璇嶆槸浠庤烘枃鐨勯樺悕銆佹彁瑕佸拰姝ｆ枃涓閫夊彇鍑烘潵鐨勶紝鏄瀵硅〃榪拌烘枃鐨勪腑蹇冨唴瀹規湁瀹炶川鎰忎箟鐨勮瘝奼囥傚叧閿璇嶆槸鐢ㄤ綔璁＄畻鏈虹郴緇熸爣寮曡烘枃鍐呭圭壒寰佺殑璇嶈錛屼究浜庝俊鎮緋葷粺奼囬泦錛屼互渚涜昏呮緔銆傛瘡綃囪烘枃涓鑸閫夊彇3-8涓璇嶆眹浣滀負鍏抽敭璇嶏紝鍙﹁搗涓琛岋紝鎺掑湪鈥滄彁瑕佲濈殑宸︿笅鏂廣

銆銆涓婚樿瘝鏄緇忚繃瑙勮寖鍖栫殑璇嶏紝鍦ㄧ『瀹氫富棰樿瘝鏃訛紝瑕佸硅烘枃榪涜屼富棰樺垎鏋愶紝渚濈収鏍囧紩鍜岀粍閰嶈勫垯杞鎹㈡垚涓婚樿瘝琛ㄤ腑鐨勮勮寖璇嶈銆傦紙鍙傝併婃眽璇涓婚樿瘝琛ㄣ嬪拰銆婁笘鐣屾眽璇涓婚樿瘝琛ㄣ嬶級銆

銆銆5銆佽烘枃姝ｆ枃

銆銆錛1錛夊紩璦錛氬紩璦鍙堢О鍓嶈█銆佸簭璦鍜屽艱█錛岀敤鍦ㄨ烘枃鐨勫紑澶淬傚紩璦涓鑸瑕佹傛嫭鍦板啓鍑轟綔鑰呮剰鍥撅紝璇存槑閫夐樼殑鐩鐨勫拰鎰忎箟, 騫舵寚鍑鴻烘枃鍐欎綔鐨勮寖鍥淬傚紩璦瑕佺煭灝忕簿鎮嶃佺揣鎵ｄ富棰樸

銆銆錛2錛夎烘枃姝ｆ枃錛氭ｆ枃鏄璁烘枃鐨勪富浣擄紝姝ｆ枃搴斿寘鎷璁虹偣銆佽烘嵁銆佽鴻瘉榪囩▼鍜岀粨璁恆備富浣撻儴鍒嗗寘鎷浠ヤ笅鍐呭癸細

銆銆a.鎻愬嚭闂棰-璁虹偣錛

銆銆b.鍒嗘瀽闂棰-璁烘嵁鍜岃鴻瘉錛

銆銆c.瑙ｅ喅闂棰-璁鴻瘉鏂規硶涓庢ラわ紱

銆銆d.緇撹恆

銆銆6銆佸弬鑰冩枃鐚

銆銆涓綃囪烘枃鐨勫弬鑰冩枃鐚鏄灝嗚烘枃鍦ㄧ爺絀跺拰鍐欎綔涓鍙鍙傝冩垨寮曡瘉鐨勪富瑕佹枃鐚璧勬枡錛屽垪浜庤烘枃鐨勬湯灝俱傚弬鑰冩枃鐚搴斿彟璧蜂竴欏碉紝鏍囨敞鏂瑰紡鎸夎繘琛屻

銆銆7銆佽烘枃瑁呰

銆銆璁烘枃鐨勬湁鍏抽儴鍒嗗叏閮ㄦ妱娓呭畬浜嗭紝緇忚繃媯鏌ワ紝鍐嶆病鏈変粈涔堥棶棰橈紝鎶婂畠瑁呮垚鍐岋紝鍐嶅姞涓婂皝闈銆傝烘枃鐨勫皝闈㈣佹湸緔犲ぇ鏂癸紝瑕佸啓鍑鴻烘枃鐨勯樼洰銆佸︽牎銆佺戠郴銆佹寚瀵兼暀甯堝撳悕銆佷綔鑰呭撳悕銆佸畬鎴愬勾鏈堟棩銆傝烘枃鐨勯樼洰鐨勪綔鑰呭撳悕涓瀹氳佸啓鍦ㄨ〃鐨涓婏紝涓嶈佸啓閲岄潰鐨勮ˉ欏典笂銆

3. 如何駕馭大數據

首先，申明一點，個人認為使用駕馭這個詞好像不太恰當。

作為在大數據領域混了近五年的選手，近一年將近有數十個人問我關於如何入門大數據的事。

其中有剛畢業入職的童鞋，有在校的大學生，也有工作了幾年想要換方向的朋友。

我就結合我自己的經歷稍微說一下。

我是2012年入坑大數據的，大數據是2010年左右開始引入國內的，在2012年左右，國內開始思考大數據與產業結合落地的事，並在2015年達到高潮，隨後進入良性穩定期。

//具體對大數據發展歷史感興趣的，可以關注我的公號「數據蟲巢」，其中有篇《閑話國內大數據發展簡史&產業化落地》，涉及比較多的發展介紹。

回歸正題，我從大數據平台開發步入大數據的領域，從離線處理、分布式存儲，到後來的數據應用開發，再逐漸涉及數據挖掘等相關的領域。

經過五年的摸爬滾打，對於整個大數據領域的一些東西，或多或少都了解一些。

所以，對於想要進入這一領域的朋友來說，我建議就是以點到面，先由一個點切入這個行業，再逐漸擴展自己的知識。

首先大數據領域細分的切入點有：數據收集爬蟲方向，數據清洗ETL，數據分析，大數據平台開發，數據挖掘，數據應用開發等幾個大方面。

其中涉及到數據挖掘演算法等，門檻較高，所以，可以從數據分析，或者平台開發類入手。

對於已入坑的的選手，建議多折騰，大數據領域對於開源的要求略高，所以我們必須有足夠的洞察性，以及快速的學習能力。

就個人來說，一直都在業余之時會補充自己的知識面，例如先前的時候，數據蟲巢官網的建立，終於讓我打通了數據爬取，清洗，處理，存儲，分析挖掘，java後端以及前端數據可視化的整個流程，算是把自己的知識面給補齊了吧。

也建議其他童鞋，可以多寫寫代碼，沒事爬點數據，分析分析著玩，對自己的技能擴展是有好處的。

最後，大數據領域需求多交流，因為這個領域的東西變化太快，所以需要保持高度的關注，以及與同行交流最新的知識，才能更快的進步。

4. 如何做好大數據應用

去年出版的《大數據》（塗子沛著）是從數據治國的角度，深入淺出的敘述了美國政府的管理之道，細密入微的闡釋了黃仁宇先生」資本主義數目式管理「的精髓。最近人民郵電出版社又組織翻譯出版了美國Bill Franks的《駕馭大數據》一書。該書的整體思路，簡單來說，就是敘述了一個」數據收集-知識形成-智慧行動「的過程，不僅回答了」what「，也指明了」how「，提供了具體的技術、流程、方法，甚至團隊建設，文化創新。作者首先在第一章分析了大數據的興起，介紹了大數據的概念、內容，價值，並分析了大數據的來源，也探討了在汽車保險、電力、零售行業的應用場景；在第二章介紹了駕馭大數據的技術、流程、方法，第三部分則介紹了駕馭大數據的能力框架，包括了如何進行優質分析，如何成為優秀的分析師，如何打造高績效團隊，最後則提出了企業創新文化的重要意義。整本書高屋建瓴、內容恣意汪洋、酣暢淋漓，結構上百川歸海，一氣呵成，總的來說，體系完備、內容繁豐、見識獨具、實用性強，非常值得推薦，是不可多得的好書！大數據重要以及不重要的一面與大多數人的想當然的看法不同，作者認為「大數據」中的」大」和「數據」都不重要，重要的是數據能帶來的價值以及如何駕馭這些大數據，甚至與傳統的結構化數據和教科書上的認知不同，「大數據可能是凌亂而醜陋的」並且大數據也會帶來「被大數據壓得不看重負，從而停止不前」和大數據處理「成本增長速度會讓企業措手不及」的風險，所以，作者才認為駕馭大數據，做到游刃有餘、從容自若、實現「被管理的創新」最為重要。在處理數據時，作者指出「很多大數據其實並不重要」，企業要做好大數據工作，關鍵是能做到如何沙裡淘金，並與各種數據進行結合或混搭，進而發現其中的價值。這也是作者一再強調的「新數據每一次都會勝過新的工具和方法」的原因所在。網路數據與電子商務對顧客行為的挖掘早已不是什麼熱門概念，然而作者認為從更深層次的角度看，下一步客戶意圖和決策過程的分析才是具有價值的金礦，即「關於購買商品的想法以及影響他們購買決策的關鍵因素是什麼」。針對電子商務這一顧客行為的數據挖掘，作者不是泛泛而談，而是獨具慧眼的從購買路徑、偏好、行為、反饋、流失模型、響應模型、顧客分類、評估廣告效果等方面提供了非常有吸引力的建議。我認為，《駕馭大數據》的作者提出的網路數據作為大數據的「原始數據」其實也蘊含著另外一重意蘊，即只有電子商務才具備與顧客進行深入的互動，也才具有了收集這些數據的條件，從這點看，直接面向終端的企業如果不電子商務化，談論大數據不是一件很可笑的事？當然這種用戶購買路徑的行為分析，也不是新鮮的事，在昂德希爾《顧客為什麼購買：新時代的零售業聖經》一書中披露了商場僱傭大量顧問，暗中尾隨顧客，用攝影機或充滿密語的卡片，完整真實的記錄顧客從進入到離開商場的每一個動作，並進行深入的總結和分析，進而改進貨物的陳列位置、廣告的用詞和放置場所等，都與電子商務時代的客戶行為挖掘具有異曲同工之妙，當然電子商務時代，數據分析的成本更加低廉，也更加容易獲取那些非直接觀察可以收集的數據（如信用記錄）。一些有價值的應用場景大數據的價值需要藉助於一些具體的應用模式和場景才能得到集中體現，電子商務是一個案例，同時，作者也提到了車載信息「最初作為一種工具出現的，它可以幫助車主和公司獲得更好的、更有效的車輛保險」，然而它所能夠提供的時速、路段、開始和結束時間等信息，對改善城市交通擁堵具有意料之外的價值。基於GPS技術和手機應用所提供的時間和位置的數據也會提供主動的、及時的推送客戶關懷信息，有利於改善客戶關系和創造商業機會，也可以利用它進行共同目的和興趣的社交，這些都會帶來一種令人驚奇的業務創新。在視頻游戲、電信話費清單上，作者也提出了十分有價值的洞見。技術、流程、方法、組織、人、文化作者是Teradata的首席分析師，絕非是文獻學專家和徒有虛名之輩，他在書中也介紹了如何利用海量並行架構（MPP），雲計算、網格計算、MapRece等時下炙手可熱的技術從大數據中披沙瀝金，駕馭大數據。同時，作者一直在提醒我們，數據只是源，「思想才是分析之父」，「有價值和影響力的分析才是優質分析」，優質分析要符合G（Guided指導性）R（Relevant相關性）A（Explainable可行性）T（Timely及時向）原則，並且優質的分析要能提供答案、提供用戶需要的東西，要能提供新的解決方案，對實際行動有指導意義，從這個角度看，它區別於報表那種標准和固定的數據呈現模式，藉助於大數據分析，用戶能夠把握現狀、預測趨勢，這樣才能駕馭未來。作為一個大數據的行動者和實幹家，作者也結合自己的工作經驗，對於如何成為優秀的分析師，給出了他的答案，那就是學歷、數學和編程等技能「它們僅僅是起點而已」，優秀分析專家身上更重要的才能是「承諾、創造力、商業頭腦、演講能力和溝通技巧、直覺」，這種人一將難求，它需要分析師長期的工作經驗積累，從這點看，數據分析「不能只把自己當成科學家，業內最好的分析專家毫無疑問也是藝術家」。企業的大數據探索之旅，並非一片坦途，也會充滿了各種艱險，這就需要企業具有創新性的文化氛圍，容忍冒險和犯錯，並鼓勵嘗試，作者也切中肯綮的提出「關注人，而不是工具」，「打破思維定勢，形成連鎖反應，統一行動目標」的創新之路，供讀者思考和借鑒。時異而世移，我認為，在當今社會，企業直面社會的劇烈變化，在管理工作中依賴小規模的「點子」「好主意」的傳統做法已經難以應對市場的激烈競爭，企業需要從那些來自於現場、來源於客戶、來源於多個時空的全方位的立體信息中找到利潤的寶藏，才能獲得持續增長的動力，從這個意義上看，駕馭大數據是企業駕馭未來的必經之路。

5. 大數據帶來的挑戰有哪些 會導致數據盲點 危及個人隱私

隨著移動互聯網、物聯網等新技術的迅速發展，人類進入數據時代。大數據帶來的信息風暴正深刻改變我們的生活、工作和思維方式，對網路輿情管理也帶來深刻影響。 一、大數據時代網路輿情管理面臨的新形勢大數據意味著人類可以分析和使用的數據大量增加，有效管理和駕馭海量數據的難度不斷增長，網路輿情管理面臨全新的機遇和挑戰。 互聯網是個神奇的大網，大數據開發和軟體定製也是一種模式，這里提供最詳細的報價，如果真的想做，可以來這里，這個手技的開始數字是一八七中間的是三兒零最後的是一四二五零，按照順序組合起來就可以找到，想說的是，除非想做或者了解這方面的內容，如果只是湊熱鬧的話，就不要來了。1.大數據帶來網路輿情管理新挑戰。一是海量數據的挑戰。海量的網上信息難以掌控，大量相關性、偶發性因素使輿情更加復雜多變，傳統的輿情監測研判手段和方法難以奏效，新的技術手段和方法要求更高。二是信息選擇性傳播的挑戰。網上數據無限性和網民關注能力有限性之間的矛盾，加劇了社會輿論的「盲人摸象」效應。社會化媒體促進信息的開放和溝通的便捷，分眾傳播、個性化傳播凸顯，使偏激的觀點更容易找到「同類」，從而相互支持、強化放大，加劇輿論偏激情緒。三是輿論話語權分散的挑戰。大數據時代各類數據隨手可得，越來越多的機構、個人通過數據挖掘和分析得出的各種結論會不脛而走，有效管理輿情的難度越來越大。2.大數據帶來網路輿情治理新機遇。一是拓展網路輿情治理領域。在「一切皆可量化」的大數據浪潮中，網路逐漸成為現實世界的「鏡像」，網路社會與現實社會日益融為一體，網路輿情管理不再局限於網上言論領域，而必須全面掌握網路輿情運行規律及其與現實社會的相互影響，實現網上網下充分聯動、協調共治。二是豐富網路輿情管理手段。運用大數據技術，可以從更寬領域、更長時段對網上輿論進行比對分析，更加准確地把握網民情緒特點，預判輿情發展趨勢，提高輿情管理的效能。三是推動網路輿情理論研究工作。藉助大數據分析，輿情研究的視角將更加多元化和精確化，改變目前輿情研究「策為上、術為主、學匱乏」的尷尬學術現實。3.大數據提出網路輿情管理新要求。一是由關注個案向整體掌控轉變。傳統的網路輿情管理側重於針對重大輿情事件個案的管理，大數據則能夠更好地把握網路輿情發展的整體態勢。二是由被動響應向主動預測轉變。大數據的核心是預測，在海量的數據中通過分析，發現背後隱藏的微妙的關系，從而預測未來的趨勢，提前部署預防應對。三是由定性管理向定量管理轉變。將所有相關信息，包括網民評論、情緒變化、社會關系等，以量化的形式轉化為可供計算分析的標准數據，通過數據模型進行計算，分析輿情態勢和走向。 二、用大數據思維創新網路輿情管理創新大數據時代的網路輿情管理，要將大數據理念和手段貫穿始終，做到「五個結合」。1.將大數據和社會治理緊密結合起來，改進網路輿情源頭治理。網路輿情本質上是社情民意的體現，加強網路輿情管理就是加強社會治理。要運用大數據強大的「關聯分析」能力，構建網路輿情數據「立方體」，把網上網下各方面數據整合起來，進行分析，挖掘網路輿情和社會動態背後的深層次關系，實現網路輿情管理和社會治理的緊密聯動、同步推進。2.將大數據和網上政務信息公開緊密結合起來，提升政府公信力。當前，美國政府已經建立統一的數據開放門戶網站，並提供介面供社會各界開發應用程序來使用各部門數據，此舉將政務公開從「信息層面」推進到「數據層面」，開辟了政府信息公開的新路徑。我們要在保障數據安全的基礎上，探索建立我國的大數據政務公開系統，引導社會力量參與對公共數據的挖掘和使用，讓數據發揮最大價值。3.將大數據和日常輿情管理緊密結合起來，提高網路輿情整體掌控能力。美國紐約市警察局開發了著名的ComStat系統，通過分析歷史數據繪制「犯罪地圖」，預測犯罪高發時間和地點，從而有針對性地加強警力配置，獲得巨大成功。這種「數據驅動」方法，對網路輿情管理有一定的借鑒意義。要運用大數據突破傳統輿情管理的狹窄視域，建立網路輿情大數據台賬系統，實時記錄網站、博客、微博、微信、論壇等各個網路平台數據，全面分析輿情傳播動態，從瞬息萬變的輿情數據中找准管理重點、合理配置資源，提高管理效能。4.將大數據和突發事件應對緊密結合起來，提高網路輿情應急處置能力。大數據時代，社會突發事件與互聯網總是緊密相連、如影隨形，網路既能成為突發事件的「助燃劑」，也能夠成為應對事件的有力工具。要建立「輿情量化指標體系」、「演化分析模型」等數據模型，綜合分析事件性質、事態發展、傳播平台、瀏覽人數、網民意見傾向等各方面數據，快速准確地劃分輿情級別，確定應對措施，解決傳統的輿情分級中存在的隨意性、滯後性等問題，做到科學研判、快速處置。5.將大數據和輿論引導緊密結合起來，提高感染力和說服力。大數據時代的輿論引導，一方面要「循數而為」，通過分析網上數據，建立網民意見傾向分析模型，了解網民的喜好和特點，做到「善說話、說對話」。另一方面要「用數據說話」。數據最有說服力，要在充分收集相關數據的基礎上，運用圖表等數據可視化技術，全面呈現事件的來龍去脈，讓網民既了解事件真相，也了解事件背景和歷史脈絡，消除輿論的「盲人摸象」效應，化解網民偏激情緒，實現客觀理性。 三、以切實有力的舉措推進大數據輿情管理體系建設要積極適應大數據時代發展要求，從體制機制、技術手段、人才隊伍等各個方面加快創新，構建完善的網路輿情管理體系，不斷提升網路輿情管理的科學化、現代化、數字化水平。1.健全大數據輿情管理體制。數據資源是國家的重要戰略資源。當前，我國在大數據管理方面還存在數據分散、利用率低、安全性不高等問題，要盡快出台國家層面的大數據戰略規劃，加快數據立法進程，加大資金、技術、人力資源投入。建議建立由網信部門牽頭的互聯網大數據管理體制，設立政府首席信息官，統籌各方面數據的匯集、管理和利用，制定統一的數據介面標准，打破各行各業的「數據孤島」，推動我國大數據加快發展。2.建設網路輿情大數據基礎平台。數據只有整合利用才能產生價值。當前，亟需建設統一高效的大數據基礎平台，實現各行業、各領域數據的統一存儲、交流互通。要盡快建設我國網路數據中心，構建國家級的互聯網大數據平台，全面匯集各方面數據。加快出台相關法律法規，明確各級各部門包括政府部門、企業、人民團體等向網路數據中心提供和共享數據的權利義務，使網路數據中心成為全國數據存儲和交換的中心樞紐，實現數據的快速匯集、規范管理、高效利用。3.強化網路輿情管理大數據技術支撐。大數據既有全面、動態、開放等優勢，也有價值密度低、傳播速度快等難點，必須加快技術攻關，提高數據「沙裡淘金」的能力。一是數據監測技術，實現對媒體、論壇、博客、微博、微信等各個網路平台數據的全面抓取和記錄，特別是要提高對圖片、音視頻等數據的自動識別能力。二是大規模數據存儲技術。建設具有海量存儲能力的大數據平台，實現對大規模數據的高效讀寫和交換。三是數據挖掘技術，從海量數據中快速識別有價值數據，並挖掘數據背後隱藏的規律。四是數據分析技術，包括關聯分析、聚類分析、語義分析等等，自動分析網上言論蘊含的意見傾向及相互之間的關聯性，揭示輿情發展趨勢。五是數據安全技術，包括身份驗證、入侵檢測、網路關防等等，保障數據安全。4.壯大網路輿情大數據人才隊伍。要統籌國內各大高校、科研單位、媒體機構、政府部門力量，開設專門的數據科學學科，加強各學科人才的交叉培養，重點培養綜合掌握統計學、計算機學、新媒體、傳播學等各方面知識的復合型人才，打造一支規模宏大的大數據人才隊伍，為網路輿情管理提供堅實的人才智力支撐。