如何應對數據挑戰

⑴ 當代大學生應該如何應對「大數據」帶來的機遇與挑戰

大數據，或稱巨量資料，是指所涉及的資料量規模巨大，以致無法通過目前主流軟體工具在合理時間內擷取、管理、處理並整理成為幫助企業達致經營決策目的的資訊。大數據技術不僅能夠提高人們利用數據的效率，而且能夠實現數據的再利用和重復利用，進而大大降低交易成本，提升人們開發自我潛能的空間。人們可以低成本或零成本進行事物信息全息式的縱向歷史比對和橫向現實比對。大數據技術自身不僅能夠迅速衍生為新興信息產業，還可以同雲計算、物聯網和智慧工程技術聯動，支撐一個信息技術的新時代。

雲計算、物聯網、大數據、智慧工程都是新一代信息技術。雲計算技術是一種按使用量付費的模式，這種模式可以提供可用的、便捷的、按需的網路訪問，進入可配置的計算資源共享池（資源包括網路、伺服器、存儲、應用軟體、服務），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務供應商進行很少的交互。雲計算技術可以使人們及時利用各類大數據。物聯網技術的實質就是物物相連的互聯網，物聯網的核心和基礎仍然是互聯網，其用戶端延伸和擴展到了任何物品與物品之間，進行信息交換和通信。物聯網技術可以溯源大數據和保證信息的真實性。智慧工程就是把感應器嵌入和裝備到電網、鐵路、橋梁、隧道、公路、建築、供水系統、大壩、油氣管道等各種物體中，並且進行普遍連接，與現有的互聯網整合起來，實現人類社會與物理系統的整合。智慧工程可以激活沉寂的大數據。

⑵ 面臨大數據挑戰我們該怎麼做

大數據的其中兩個特性是數據量大跟實時性，這是企業目前處理大數據所面臨的最主要的兩個挑戰。我們可以看到數據的這兩個屬性，是傳統關系型資料庫也一直在處理的問題。
如果光從字面上去理解「大數據」，我們通常會認為大數據就是數據的大爆發，側重於強調數據的量。但是如果你去總結IBM、ORACLE、EMC對於大數據的定義話，它的外延還包括了數據的多樣性已經分析的實時性。
大數據的其中兩個特性是數據量大跟實時性，這是企業目前處理大數據所面臨的最主要的兩個挑戰。我們可以看到數據的這兩個屬性，是傳統關系型資料庫也一直在處理的問題。如果說傳統關系型資料庫目前尚不能夠滿足企業的業務需求，那麼技術的研究方向也應該是按照關系型資料庫這種技術架構進行進行下去。要知道，傳統關系型資料庫跟目前針對大數據的非結構化資料庫的架構類型是完全不一樣的。關系型資料庫已經存在了40多年，對於數據處理也已經顯得非常成熟，如果企業要用新興的非結構化數據去取代它，那麼會不會面臨「撿了芝麻，丟了西瓜」的結局我們也不得而知。
那再讓我們來看大數據的第三個特性：「數據的多樣性」。這里的「多樣性」意味著非結構化數據變得越來越多。
事實上，全球產生的數據中85%以上的確是非結構化的數據。但企業主要處理的還是結構化的數據。大多數廠商的非結構化數據分析工具也是轉換成結構化數據之後再進行處理。那麼大數據的真正之「大」在於如何將非結構化數據處於成結構化數據，以及之後的對於大量結構化數據的並行處理能力。這跟許多廠商的強調的「非結構化」數據本身並無太大關聯。
一些非常資深的資料庫專家認為：能把最簡單的業務，簡單的數據形態挖掘深入才能體現功底，電商這類復雜業務挖掘出一點成果容易，深入難，許多企業不去強調對於數據的挖掘，而在強調工具和技術。這些專家也在提醒，結構化數據相對小，但是富礦，非結構化數據大，但是貧礦，如果富礦還沒開始采就轉攻大貧礦，後果可想而知。
關於大數據的成本風險
只要不是錢多得燒不完的企業，其IT部門始終要面臨這樣一個問題：用盡可能少的錢去創造盡可能多的價值。
資料庫建設無疑是企業IT預算的大頭。一個項目建設花費掉上千萬在中國許多企業是非常正常的事情。然而我們看得到的是大數據的建設其花費肯定將不會低於原來傳統關系型資料庫的花費。
現在很多廠商正在給與我們這樣的案例，許多企業依靠大數據的能夠，發現了以前根本無法發現的機遇，拓展了自己的市場。那我們就必須要討論一下大數據的有效性，到底企業利用大數據給企業帶來了多少額外增加的價值?這種增加的價值是否能夠企業的投入有一個非常好的比例。而且更為重要的一點是，是否只要使用大數據就一定能夠給企業帶來以前不可能實現的價值?
當然，任何一種新技術的出現都要面臨許許多多的挑戰，大數據也是一樣。只有那種能夠給企業帶來實際價值的技術才有真正的生命力。任何企業絕對不會為了採用新技術而應用新技術，技術最終的落腳點一定是實現業務價值。
大數據還處於成長當中，許多IT廠商也認為目前大數據需要和傳統關系型數據倉庫共存。如果企業的確希望利用新興技術實現業務的突破，那麼也應該必須慎重。

⑶ 如何應對大數據

確定企業的短中期目標和標准

大數據的資源極大繁雜豐富，如果企業沒有明確的目標，就算沒有走入迷途至少會覺得非常迷茫。因此，首先，要確定企業運用大數據的短中期目標，定義企業的價值數據標准，之後再使用那些能夠解決特定領域問題的工具。逐步推廣，步步為營，不要把理想定得太高，否則失望會愈大。

儲備好大數據相關技術人才

企業運用大數據為營銷管理服務之前，技術團隊要到位是基礎。企業管理團隊要能夠非常自如地玩轉數據。許多人認為社交媒體營銷人是個有趣的工作，其實它是個艱苦的活兒。社交化空間非常注重數據、衡量標准和數據可視化等問題。要能熟悉駕馭，首先要確保企業技術人員已經接受過相關技能培訓，了解如何最大化利用大數據的作用和潛力為企業營銷管理服務。

解決碎片化問題

企業啟動大數據營銷管理一個最重要的挑戰，是數據的碎片化、零雜化。許多公司組織中，數據都散落在互不連通的資料庫中，而且相應的數據技術也都存在於不同部門中，如何將這些孤立錯位的資料庫打通、互聯，並且實現技術共享，才是能夠最大化大數據價值的關鍵。管理者當留意的是，數據策略要成功提升網路營銷管理成效，要訣在於無縫對接網路企業管理與營銷的每一步驟，從數據收集、到數據挖掘、應用、提取洞悉、報表等。

培養內部整合能力

要做好大數據的應用管理，其一，要有較強的整合數據的能力，整合與來自企業各種不同的數據源、各種不同結構的數據，如客戶關系管理、搜索、移動、社交媒體、網路分析工具、普查數據以及離線數據，這些整合而得的數據是定向更大目標受眾的基礎;其二，要有研究探索數據背後價值的能力。未來營銷管理成功的關鍵將取決於如何在大資料庫中挖掘更豐富的營銷價值。像是站內、站外的數據整合、多方平台的數據接軌、結合人口與行為數據去建立優化演算法等都是未來的發展重點;其三，探索出來之後給予精確行動的管理指導綱領，同時通過此綱領進行精確快速實時性行動。

而從社會、國家領域而言，我國亟須在國家層面對大數據給予高度重視，特別需要從政策制定、資源投入、人才培養等方面給予強有力的支持;另一方面，建立良性的大數據生態環境是有效應對大數據挑戰、用好大數據的主要出路，需要科技界、工業界以及政府部門在國家政策的引導下共同努力，通過消除壁壘、成立聯盟、大數據質量標准、建立專業組織等途徑，建立和諧的大數據生態系統。

總之，誰率先具備從各種各樣類型的數據中快速獲得有價值信息的能力與機會，誰就是贏家!

⑷ 面對當前海量網路數據包帶來的種種挑戰，網路運維應注意哪些方面

1、重視防衛網路漏洞
當前世界，網路犯罪分子正藉助偽裝技巧和錯誤引導全面侵入企業網路，這並非假設，而是事實。現在，平均每14秒鍾就有一起網路攻擊事件發生，CIO，CISO，網路運維人員(NetOps)，安全運維人員（InfoSec）以及安全團隊必須能夠實現對數據包的全面可視化，通過深度數據包檢測技術，實現對全部動態信息的全面可視化，了解這些數據包中具體包含哪些信息。數據包可視化可幫助安全團隊對進出網路的網路事件進行主動和全面檢視，從而將網路安全戰略帶入實施的下一階段。
2、推動數字化轉型
現在，很多組織都寄希望於數字化轉型，而要實現成功，應用智能是關鍵。當前，90%的組織都在進行由新型數字應用驅動的數字化轉型。盡管現代多層應用為組織帶來了一定的靈活性和創新能力，但其背後的復雜性也讓監測和保護這些應用變得日益困難。畢竟，根據Forrester最近的一項調查，IT復雜性已經成為CISO面臨的首要挑戰。
為了應對復雜性帶來的挑戰，應用智能技術可幫助高層自動梳理數據，只採集最相關的應用流量用於分析。一個成功的數字化轉型項目肯定也是極度復雜的，而應用智能所具有的分析和工具則填補了這一斷層，它可以幫助商業領袖快速、准確完成工作，這對改善業務、提升客戶體驗都有巨大幫助。
3、檢查是否有盲點
在組織進行數字化轉型的時候，網路犯罪分子也在尋找薄弱之處。網路攻擊不會自動消失，實際上網路攻擊只會越來越多，不會越來越少，這使得那些商業領袖們比以往任何時候都更需要對動態數據的可視化，並在搭建基礎設施時將其指定為基本設計原則。
應用智能為NetOps和InfoSec團隊提供了實現全面網路可視化所必需的框架，可對運行於網路之上的大量應用自動生成洞察，助力組織加速數字化進程。藉助這種能力，NetOps和InfoSec團隊就可以消除任何現有盲點。此外，應用智能還可以幫助IT深入了解每個應用和組件，進而識別出潛在的瓶頸和安全漏洞。通過消除數據孤島以及在組織中共享應用常識，CIO和CISO就可以優化企業績效，解決潛在問題，提供最佳客戶體驗。

⑸ 如何應對大數據時代的運維挑戰

在企業內部也是一樣，當大量的生產和經營數據集中在數據中心，一旦人們與數據中心因為IT故障而失去聯系，停滯的也許不是個人應用受阻這樣簡單的後果。為了應對大數據下的新業務需求，傳統的IT運維管理就需要針對數據中心基礎架構做出改變，這種進化包括針對虛擬化和服務交付能力的調整，以及IT與業務融合所必備的方法和工具。 數據中心迎來了「按需配置」的變革 過去，每次當我們的數據中心的業務容量不足的時候，就會想到增加更多的硬體、設備來滿足客戶需求。但在海量數據洶涌來襲的時候，這種增加都是被動的、延遲的。據統計，互聯網上的數據每兩年翻一番，而目前世界上90%以上的數據都是最近幾年才產生的，這為大數據概念的橫空出世做好了准備。數據的增長超出了我們的預期，那麼是否可以找到一個辦法，讓我們可以對業務部門提供一種「按需分配」的低成本方案呢？虛擬化技術以其降低成本、靈活性，以及動態的擴容特性，給出了最佳的答案。 許多企業希望採用雲計算和虛擬化技術實現「按需配置」的基礎環境、服務等級，實現更低的成本和更高的盈利。然而，要從大數據這個藏量巨大的金礦中淘到金子，並沒那麼容易，傳統架構下的IT運維管理與成熟的虛擬化技術並沒有齊頭並進。 首先，虛擬機一旦出現故障，如果不能及時恢復，這個損失可能遠遠超過節省電源和空間的費用。其次，虛擬機的靈活性對IT運維中的「配置管理」可謂是一杯毒酒，泛濫的遷移和擴容會讓IT基礎設備重新回到混亂的過去。在傳統數據中心，管理員可以確定地表述：我的資料庫在伺服器A上運行，這台伺服器與交換機B進行連接並使用存儲陣列C，它們的性能指標都非常良好。但動態數據中心採用虛擬化技術後，解耦了這種關系，更具伸縮性，或是隨意的（人們對「靈活性」的誤讀）利用這些基礎設施資源。業務系統可以位於伺服器集群中的任何計算節點上，可以利用任何存儲設備上的存儲空間，可以使用虛擬網路，也可以進行轉移以滿足性能或運營需求。但這些優勢，卻在IT運維管理中造成「看不見」、「說不清」的嚴重問題。 虛擬化運維管理的「兩大難題」如何突破？ 如果你都不知道自己的IT環境里有什麼，就別指望控制、維護和提高它們。因此，配置管理和性能監控在任何時候都沒有變，它們只是進化到了更高的階段。 作為國內領先的IT運維管理專家，北塔軟體認為：IT運維管理不是一蹴而就的，更不是一成不變的，大數據情形下的網路管理將要應對更多的技術和管理層面的挑戰。之前，針對基礎設施的監控一般側重對物理設備、物理網路、物理存儲的管理，而虛擬化後的變更操作變得越來越簡單，但這會使得一些虛擬機脫離管理的范圍，尤其是在配置管理和性能監控兩個方面。管理人員需要對新增的虛擬網路、數據存儲、虛擬機、ESX/ESXi主機數量、集群對象提供一種與之配套的IT運維管理工具。 從改進配置管理開始著手是很重要的一步，因為這可以清晰地呈現出不斷變化的虛擬機、物理伺服器、存儲和網路資源之間的關系。另外，隨著每台物理機上託管的虛擬機數量增多並提高了整體利用率，性能測算與監控的重要性也在攀升。為了預防虛擬機密度過大，或者利用率不足的問題（虛擬化之後，這個問題並沒有完全消除），運維管理人員必須擁隨時調整物理主機的承載力。 為了消除用戶大數據時代的運維顧慮，在全面提供了對主機、網路、機房等領域的管理解決方案之後，北塔軟體在北塔BTIM（BetasoftIntegratedManagement，IT綜合管理軟體）中增加了針對VMware虛擬化管理和FC-SAN存儲管理解決方案。

⑹ SQL Server DBA如何應對海量數據挑戰

如今許多公司都在構建數據倉庫，從各種數據來源整合數據，使他們更便於展示。每個數據倉庫規模、復雜度和實施都各有不同，但是有一點是不變的：管理和處理數據倉庫表比聯機事務處理(OLTP)系統需要更多規劃和提前思考。讓我們來看看，在處理越來越大的數據集市時資料庫管理員(DBA)面臨的幾個挑戰。在使用數據倉庫時，你會發現那些在小表上執行很快的操作如果沒有規劃和停頓基本不可能執行了。表鎖定操作(比如，重建索引或者增加列)可能會花數小時時間，而不是幾秒種。在一些數據倉庫中，你可能有比OLTP系統中更長的窗口要維護，但是一旦你習慣了幾十億行級的數據，你就知道這里是完全不一樣的玩法。SQL Server中提供了一些功能，讓管理非常巨大的表更容易了一些，盡管許多功能只在微軟的某些企業版中才可用。例如，重建索引功能支持你在聯機模式重建索引，也就是說該表不必鎖定，在重建索引時仍然可用。另一個值得了解的企業版功能是表分區。給帶有許多索引的巨大表載入數據執行會很慢，因為插入每一行以後索引需要更新。如果你先刪除索引再做，你的載入數據過程會更快，但是之後你仍然需要重建索引。當表非常巨大時，你可能每天都在添加數據，重建索引意味著你本質上是在一遍一遍做同樣的事情。表分區解決了這個問題，它支持你創建合適的分區(比如，按月，按天，按年和月，按年和周)，可以運行你的分區載入到空的臨時表。一旦你的載入完成了，就可以創建與你在主表上相同的索引，並把分區「切換」到主表。在系統後台，SQL Server只修改元數據，臨時表變成了主表的一部分。如果你有大於30GB到40GB的表，那你必須嚴肅處理分區問題。正如你可以切入分區一樣，你也可以切出分區，在幾毫秒內從一個表中刪除數百萬行數據。如果你曾經做過以小增量批量刪除數百萬行數據，你就知道它會花數小時時間，而且會增加你事務日誌和日誌備份文件的大小。切出分區只是修改一下表的元數據和內部指針。頁壓縮也可以帶來顯著的數據查詢性能改善。它尤其對那些包含多次出現相同值的數據倉庫表有益處。如果你壓縮了你的數據頁，你會獲得兩方面好處：你的數據會佔用更少的空間，查詢將運行更快。你付出的代價是更高性能的CPU，所以要確保測試是否可用並監視CPU的使用量。大部分資料庫伺服器都有空閑的CPU備用，因為磁碟I/O很容易變成第一個瓶頸。給大表增加非空列可能會需要很長時間。那是因為SQL Server需要擴展每一行，追加一列並給其填充值。表將保持鎖定，在大表上操作會花數小時之久。更好的做法是先添加一列允許為空，然後運行處理給該列添加需要的值。做完這些以後，再修改列類型，使其不允許為空。既然數據倉庫伺服器需要能源，而且通常會有多個處理器，企業授權成本那是相當可觀。在一些情況下，你可以使用SQL Server客戶端訪問授權(CAL)作為你數據倉庫的授權。這使得一小部分用戶可以直接訪問數據。但是一旦你完成了數據載入和CAL伺服器授權處理，就可以把聚合數據和報表用表轉移到更廉價的SQL Server實例上——比如，標准版或者工作組版——那些是按每處理器授權的。那樣的話，你就可以從Web應用程序訪問數據了。在構建數據倉庫時，DBA會面臨幾個挑戰，但是管理大表肯定是可行的。例如，像聯機索引重建，索引分區或者頁壓縮都是有幫助的策略，通過提升速度並增加這類表的資料庫可用性。請記住，這些都是非常巨大的數據量，所以要提前考慮和謹慎規劃你的數據載入策略。你的組織可是指望你保證那些數據倉庫表可用呢。

⑺ 大數據時代的應對措施

一個好的企業應該未雨綢繆，從現在開始就應該著手准備，為企業的後期的數據收集和分析做好准備，企業可以從下面六個方面著手，這樣當面臨鋪天蓋地的大數據的時候，以確保企業能夠快速發展，具體為下面六點。
目標
幾乎每個組織都可能有源源不斷的數據需要收集，無論是社交網路還是車間感測器設備，而且每個組織都有大量的數據需要處理，IT人員需要了解自己企業運營過程中都產生了什麼數據，以自己的數據為基準，確定數據的范圍。
准則
雖然每個企業都會產生大量數據，而且互不相同、多種多樣的，這就需要企業IT人員在現在開始收集確認什麼數據是企業業務需要的，找到最能反映企業業務情況的數據。
重新評估
大數據需要在伺服器和存儲設施中進行收集，並且大多數的企業信息管理體系結構將會發生重要大變化，IT經理則需要准備擴大他們的系統，以解決數據的不斷擴大，IT經理要了解公司現有IT設施的情況，以組建處理大數據的設施為導向，避免一些不必要的設備的購買。
重視大數據技術
大數據是最近幾年才興起的詞語，而並不是所有的IT人員對大數據都非常了解，例如如今的Hadoop，MapRece，NoSQL等技術都是2013年剛興起的技術，企業IT人員要多關注這方面的技術和工具，以確保將來能夠面對大數據的時候做出正確的決定。
培訓企業的員工
大多數企業最缺乏的是人才，而當大數據到臨的時候，企業將會缺少這方面的採集收集分析方面的人才，對於一些公司，特別是那種人比較少的公司，工作人員面臨大數據將是一種挑戰，企業要在平時的時候多對員工進行這方面的培訓，以確保在大數據到來時，員工也能適應相關的工作。
培養三種能力
Teradata大中華區首席執行官辛兒倫對新浪科技表示，隨著大數據時代的到來，企業應該在內部培養三種能力。第一，整合企業數據的能力；第二，探索數據背後價值和制定精確行動綱領的能力；第三，進行精確快速實時行動的能力。
做到上面的幾點，當大數據時代來臨的時候，面臨大量數據將不是束手無策，而是成竹在胸，而從數據中得到的好處也將促進企業快速發展。

⑻ 在大數據時代,電子商務管理面臨怎樣的挑戰,企業應該如何應對

摘要 隨著移動網路、雲計算、物聯網等新興技術迅猛發展，全球數據呈爆炸式增長，標志著我們迎來又一偉大時代——大數據時代，它的到來在不知不覺中改變著人們的生活方式和思維方式，而它對企業產生的影響也更為深遠。過去技術水平和財力是衡量一家企業競爭力的主要標准，而現在企業對「大數據」的應用程度也成為提升企業的競爭力的主要手段。

⑼ 如何應對大數據時代的變革機遇挑戰

大數據泛指巨量的數據集，因可從中挖掘出有價值的信息而受到重視。《華爾街日報》將大數據時代、智能化生產和無線網路革命稱為引領未來繁榮的三大技術變革。麥肯錫公司的報告指出數據是一種生產資料，大數據是下一個創新、競爭、生產力提高的前沿。世界經濟論壇的報告認定大數據為新財富，價值堪比石油。因此，發達國家紛紛將開發利用大數據作為奪取新一輪競爭制高點的重要抓手。

大數據時代的來臨

互聯網特別是移動互聯網的發展，加快了信息化向社會經濟各方面、大眾日常生活的滲透。有資料顯示，1998年全球網民平均每月使用流量是1MB（兆位元組），2000年是10MB，2003年是100MB，2008年是1GB（1GB等於1024MB），2014年將是10GB。全網流量累計達到1EB（即10億GB或1000PB）的時間在2001年是一年，在2004年是一個月，在2007年是一周，而2013年僅需一天，即一天產生的信息量可刻滿1.88億張DVD光碟。我國網民數居世界之首，每天產生的數據量也位於世界前列。淘寶網站每天有超過數千萬筆交易，單日數據產生量超過50TB（1TB等於1000GB），存儲量40PB(1PB等於1000TB)。網路公司目前數據總量接近1000PB，存儲網頁數量接近1萬億頁，每天大約要處理60億次搜索請求，幾十PB數據。一個8Mbps（兆比特每秒）的攝像頭一小時能產生3.6GB數據，一個城市若安裝幾十萬個交通和安防攝像頭，每月產生的數據量將達幾十PB。醫院也是數據產生集中的地方。現在，一個病人的CT影像數據量達幾十GB，而全國每年門診人數以數十億計，並且他們的信息需要長時間保存。總之，大數據存在於各行各業，一個大數據時代正在到來。

信息爆炸不自今日起，但近年來人們更加感受到大數據的來勢迅猛。一方面，網民數量不斷增加，另一方面，以物聯網和家電為代表的聯網設備數量增長更快。2007年全球有5億個設備聯網，人均0.1個；2013年全球將有500億個設備聯網，人均70個。隨著寬頻化的發展，人均網路接入帶寬和流量也迅速提升。全球新產生數據年增40%，即信息總量每兩年就可以翻番，這一趨勢還將持續。目前，單一數據集容量超過幾十TB甚至數PB已不罕見，其規模大到無法在容許的時間內用常規軟體工具對其內容進行抓取、管理和處理。

數據規模越大，處理的難度也越大，但對其進行挖掘可能得到的價值更大，這就是大數據熱的原因。首先，大數據反映輿情和民意。網民在網上產生的海量數據，記錄著他們的思想、行為乃至情感，這是信息時代現實社會與網路空間深度融合的產物，蘊含著豐富的內涵和很多規律性信息。根據中國互聯網路信息中心統計，2012年底我國網民數為5.64億，手機網民為4.2億，通過分析相關數據，可以了解大眾需求、訴求和意見。其次，企業和政府的信息系統每天源源不斷產生大量數據。根據賽門鐵克公司的調研報告，全球企業的信息存儲總量已達2.2ZB（1ZB等於1000EB），年增67％。醫院、學校和銀行等也都會收集和存儲大量信息。政府可以部署感測器等感知單元，收集環境和社會管理所需的信息。2011年，英國《自然》雜志曾出版專刊指出，倘若能夠更有效地組織和使用大數據，人類將得到更多的機會發揮科學技術對社會發展的巨大推動作用。

大數據應用的領域

大數據技術可運用到各行各業。宏觀經濟方面，IBM日本公司建立經濟指標預測系統，從互聯網新聞中搜索影響製造業的480項經濟數據，計算采購經理人指數的預測值。印第安納大學利用谷歌公司提供的心情分析工具，從近千萬條網民留言中歸納出六種心情，進而對道瓊斯工業指數的變化進行預測，准確率達到87%。製造業方面，華爾街對沖基金依據購物網站的顧客評論，分析企業產品銷售狀況；一些企業利用大數據分析實現對采購和合理庫存量的管理，通過分析網上數據了解客戶需求、掌握市場動向。有資料顯示，全球零售商因盲目進貨導致的銷售損失每年達1000億美元，這方面的數據分析大有作為。

在農業領域，矽谷有個氣候公司，從美國氣象局等資料庫中獲得幾十年的天氣數據，將各地降雨、氣溫、土壤狀況與歷年農作物產量的相關度做成精密圖表，預測農場來年產量，向農戶出售個性化保險。在商業領域，沃爾瑪公司通過分析銷售數據，了解顧客購物習慣，得出適合搭配在一起出售的商品，還可從中細分顧客群體，提供個性化服務。在金融領域，華爾街「德溫特資本市場」公司分析3.4億微博賬戶留言，判斷民眾情緒，依據人們高興時買股票、焦慮時拋售股票的規律，決定公司股票的買入或賣出。阿里公司根據在淘寶網上中小企業的交易狀況篩選出財務健康和講究誠信的企業，對他們發放無需擔保的貸款。目前已放貸300多億元，壞賬率僅0.3%。

在醫療保健領域，「谷歌流感趨勢」項目依據網民搜索內容分析全球范圍內流感等病疫傳播狀況，與美國疾病控制和預防中心提供的報告對比，追蹤疾病的精確率達到97%。社交網路為許多慢性病患者提供臨床症狀交流和診治經驗分享平台，醫生藉此可獲得在醫院通常得不到的臨床效果統計數據。基於對人體基因的大數據分析，可以實現對症下葯的個性化治療。在社會安全管理領域，通過對手機數據的挖掘，可以分析實時動態的流動人口來源、出行，實時交通客流信息及擁堵情況。利用簡訊、微博、微信和搜索引擎，可以收集熱點事件，挖掘輿情，還可以追蹤造謠信息的源頭。美國麻省理工學院通過對十萬多人手機的通話、簡訊和空間位置等信息進行處理，提取人們行為的時空規律性，進行犯罪預測。在科學研究領域，基於密集數據分析的科學發現成為繼實驗科學、理論科學和計算科學之後的第四個範例，基於大數據分析的材料基因組學和合成生物學等正在興起。

麥肯錫公司2011年報告推測，如果把大數據用於美國的醫療保健，一年產生潛在價值3000億美元，用於歐洲的公共管理可獲得年度潛在價值2500億歐元；服務提供商利用個人位置數據可獲得潛在的消費者年度盈餘6000億美元；利用大數據分析，零售商可增加運營利潤60%，製造業設備裝配成本會減少50%。

大數據技術的挑戰和啟示

目前，大數據技術的運用仍存在一些困難與挑戰，體現在大數據挖掘的四個環節中。首先在數據收集方面。要對來自網路包括物聯網和機構信息系統的數據附上時空標志，去偽存真，盡可能收集異源甚至是異構的數據，必要時還可與歷史數據對照，多角度驗證數據的全面性和可信性。其次是數據存儲。要達到低成本、低能耗、高可靠性目標，通常要用到冗餘配置、分布化和雲計算技術，在存儲時要按照一定規則對數據進行分類，通過過濾和去重，減少存儲量，同時加入便於日後檢索的標簽。第三是數據處理。有些行業的數據涉及上百個參數，其復雜性不僅體現在數據樣本本身，更體現在多源異構、多實體和多空間之間的交互動態性，難以用傳統的方法描述與度量，處理的復雜度很大，需要將高維圖像等多媒體數據降維後度量與處理，利用上下文關聯進行語義分析，從大量動態而且可能是模稜兩可的數據中綜合信息，並導出可理解的內容。第四是結果的可視化呈現，使結果更直觀以便於洞察。目前，盡管計算機智能化有了很大進步，但還只能針對小規模、有結構或類結構的數據進行分析，談不上深層次的數據挖掘，現有的數據挖掘演算法在不同行業中難以通用。

大數據技術的運用前景是十分光明的。當前，我國正處在全面建成小康社會征程中，工業化、信息化、城鎮化、農業現代化任務很重，建設下一代信息基礎設施，發展現代信息技術產業體系，健全信息安全保障體系，推進信息網絡技術廣泛運用，是實現四化同步發展的保證。大數據分析對我們深刻領會世情和國情，把握規律，實現科學發展，做出科學決策具有重要意義，我們必須重新認識數據的重要價值。

為了開發大數據這一金礦，我們要做的工作還很多。首先，大數據分析需要有大數據的技術與產品支持。發達國家一些信息技術（IT）企業已提前發力，通過加大開發力度和兼並等多種手段，努力向成為大數據解決方案提供商轉型。國外一些企業打出免費承接大數據分析的招牌，既是為了練兵，也是為了獲取情報。過分依賴國外的大數據分析技術與平台，難以迴避信息泄密風險。有些日常生活信息看似無關緊要，其實從中也可摸到國家經濟和社會脈搏。因此，我們需要有自主可控的大數據技術與產品。美國政府2012年3月發布《大數據研究與發展倡議》，這是繼1993年宣布「信息高速公路」之後又一重大科技部署，聯邦政府和一些部委已安排資金用於大數據開發。我們與發達國家有不少差距，更需要國家政策支持。

中國人口居世界首位，將會成為產生數據量最多的國家，但我們對數據保存不夠重視，對存儲數據的利用率也不高。此外，我國一些部門和機構擁有大量數據卻不願與其他部門共享，導致信息不完整或重復投資。政府應通過體制機制改革打破數據割據與封鎖，應注重公開信息，應重視數據挖掘。美國聯邦政府建立統一數據開放門戶網站，為社會提供信息服務並鼓勵挖掘與利用。例如，提供各地天氣與航班延誤的關系，推動航空公司提升正點率。

大數據的挖掘與利用應當有法可依。去年底全國人大通過的加強網路信息保護的決定是一個好的開始，當前要盡快制定「信息公開法」以適應大數據時代的到來。現在很多機構和企業擁有大量客戶信息。應當既鼓勵面向群體、服務社會的數據挖掘，又要防止侵犯個體隱私；既提倡數據共享，又要防止數據被濫用。此外，還需要界定數據挖掘、利用的許可權和范圍。大數據系統本身的安全性也是值得特別關注的，要注意技術安全性和管理制度安全性並重，防止信息被損壞、篡改、泄露或被竊，保護公民和國家的信息安全。

大數據時代呼喚創新型人才。蓋特納咨詢公司預測大數據將為全球帶來440萬個IT新崗位和上千萬個非IT崗位。麥肯錫公司預測美國到2018年需要深度數據分析人才44萬—49萬，缺口14萬—19萬人；需要既熟悉本單位需求又了解大數據技術與應用的管理者150萬，這方面的人才缺口更大。中國是人才大國，但能理解與應用大數據的創新人才更是稀缺資源。

大數據是新一代信息技術的集中反映，是一個應用驅動性很強的服務領域，是具有無窮潛力的新興產業領域；目前，其標准和產業格局尚未形成，這是我國實現跨越式發展的寶貴機會。我們要從戰略上重視大數據的開發利用，將它作為轉變經濟增長方式的有效抓手，但要注意科學規劃，切忌一哄而上。

（作者：中國工程院院士）

⑽ 大數據時代應如何應對變革帶來的機遇與挑戰

大數據時代應如何應對變革帶來的機遇與挑戰

大數據時代帶給我們更多沖擊，要想與時俱進，並不斷的提升，那就要摒棄原來的傳統思想，大膽努力的接受大數據帶來的新挑戰。想要弄清楚大數據時代帶給我們的變化，那就要先知道大數據是什麼，這樣方可以更好的迎接大挑戰，應對時代帶來的變革。大數據是指海量的數據，這是非結構化的數據，無法用傳統的數據來處理。大數據技術的應用給人們生活帶來了諸多的便利性，許多疫情的報告都來源於大數據。
大數據的應用並不是那麼簡單，其引發的是模式的變革，其應用不僅僅是發電、輸電，而是基於互聯網技術，這對於人們的生產過程以及商品交換帶來了變革性的影響。整個變革過程的技術手段就是數據的挖掘與分析，其是在互聯網基礎上，將使製造行業的生產效率大幅度提升。大靈氣無法產生新的物質產品，也無法創造新的市場需求，但卻可以大幅度的提升生產力。
國際上對於大數據的定義了四大特徵，那就是海量的數據規模、快速的數據流轉、動態的數據體系、多樣的數據類型以及巨大的數據價值。基於大數據的全國的數據信息總量每兩年就翻番。對於企業而言，大數據來源於企業內部信息系統所產生的運營數據，數據越大結果越好。成功的進入大數據時代，企業將擁有更多的發展潛能。
通過對大數據的處理，人們放棄了因果關系而選擇了相互聯系。在未來的幾年內，大數據將成為提升公司競爭力的有力基礎，行業與行業之間的競爭將演變為數據的競爭，所以，解決數據資源的搜索與共享將成為當務之急。以互聯網行業的代表阿里巴巴和谷歌為例，前者的伺服器都達到了上萬台，而後者則超過了五十萬台，這就是數據的差別。
大數據是一種運營模式，數據的膨脹決定了企業的未來發展方向，越來越多的企業意識到了數據增漲的隱患。隨著時間的推移，數據對於人們和企業的重要性會越發突顯。