如何应对数据挑战

⑴ 当代大学生应该如何应对“大数据”带来的机遇与挑战

大数据，或称巨量资料，是指所涉及的资料量规模巨大，以致无法通过目前主流软件工具在合理时间内撷取、管理、处理并整理成为帮助企业达致经营决策目的的资讯。大数据技术不仅能够提高人们利用数据的效率，而且能够实现数据的再利用和重复利用，进而大大降低交易成本，提升人们开发自我潜能的空间。人们可以低成本或零成本进行事物信息全息式的纵向历史比对和横向现实比对。大数据技术自身不仅能够迅速衍生为新兴信息产业，还可以同云计算、物联网和智慧工程技术联动，支撑一个信息技术的新时代。

云计算、物联网、大数据、智慧工程都是新一代信息技术。云计算技术是一种按使用量付费的模式，这种模式可以提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络、服务器、存储、应用软件、服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。云计算技术可以使人们及时利用各类大数据。物联网技术的实质就是物物相连的互联网，物联网的核心和基础仍然是互联网，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。物联网技术可以溯源大数据和保证信息的真实性。智慧工程就是把感应器嵌入和装备到电网、铁路、桥梁、隧道、公路、建筑、供水系统、大坝、油气管道等各种物体中，并且进行普遍连接，与现有的互联网整合起来，实现人类社会与物理系统的整合。智慧工程可以激活沉寂的大数据。

⑵ 面临大数据挑战我们该怎么做

大数据的其中两个特性是数据量大跟实时性，这是企业目前处理大数据所面临的最主要的两个挑战。我们可以看到数据的这两个属性，是传统关系型数据库也一直在处理的问题。
如果光从字面上去理解“大数据”，我们通常会认为大数据就是数据的大爆发，侧重于强调数据的量。但是如果你去总结IBM、ORACLE、EMC对于大数据的定义话，它的外延还包括了数据的多样性已经分析的实时性。
大数据的其中两个特性是数据量大跟实时性，这是企业目前处理大数据所面临的最主要的两个挑战。我们可以看到数据的这两个属性，是传统关系型数据库也一直在处理的问题。如果说传统关系型数据库目前尚不能够满足企业的业务需求，那么技术的研究方向也应该是按照关系型数据库这种技术架构进行进行下去。要知道，传统关系型数据库跟目前针对大数据的非结构化数据库的架构类型是完全不一样的。关系型数据库已经存在了40多年，对于数据处理也已经显得非常成熟，如果企业要用新兴的非结构化数据去取代它，那么会不会面临“捡了芝麻，丢了西瓜”的结局我们也不得而知。
那再让我们来看大数据的第三个特性：“数据的多样性”。这里的“多样性”意味着非结构化数据变得越来越多。
事实上，全球产生的数据中85%以上的确是非结构化的数据。但企业主要处理的还是结构化的数据。大多数厂商的非结构化数据分析工具也是转换成结构化数据之后再进行处理。那么大数据的真正之“大”在于如何将非结构化数据处于成结构化数据，以及之后的对于大量结构化数据的并行处理能力。这跟许多厂商的强调的“非结构化”数据本身并无太大关联。
一些非常资深的数据库专家认为：能把最简单的业务，简单的数据形态挖掘深入才能体现功底，电商这类复杂业务挖掘出一点成果容易，深入难，许多企业不去强调对于数据的挖掘，而在强调工具和技术。这些专家也在提醒，结构化数据相对小，但是富矿，非结构化数据大，但是贫矿，如果富矿还没开始采就转攻大贫矿，后果可想而知。
关于大数据的成本风险
只要不是钱多得烧不完的企业，其IT部门始终要面临这样一个问题：用尽可能少的钱去创造尽可能多的价值。
数据库建设无疑是企业IT预算的大头。一个项目建设花费掉上千万在中国许多企业是非常正常的事情。然而我们看得到的是大数据的建设其花费肯定将不会低于原来传统关系型数据库的花费。
现在很多厂商正在给与我们这样的案例，许多企业依靠大数据的能够，发现了以前根本无法发现的机遇，拓展了自己的市场。那我们就必须要讨论一下大数据的有效性，到底企业利用大数据给企业带来了多少额外增加的价值?这种增加的价值是否能够企业的投入有一个非常好的比例。而且更为重要的一点是，是否只要使用大数据就一定能够给企业带来以前不可能实现的价值?
当然，任何一种新技术的出现都要面临许许多多的挑战，大数据也是一样。只有那种能够给企业带来实际价值的技术才有真正的生命力。任何企业绝对不会为了采用新技术而应用新技术，技术最终的落脚点一定是实现业务价值。
大数据还处于成长当中，许多IT厂商也认为目前大数据需要和传统关系型数据仓库共存。如果企业的确希望利用新兴技术实现业务的突破，那么也应该必须慎重。

⑶ 如何应对大数据

确定企业的短中期目标和标准

大数据的资源极大繁杂丰富，如果企业没有明确的目标，就算没有走入迷途至少会觉得非常迷茫。因此，首先，要确定企业运用大数据的短中期目标，定义企业的价值数据标准，之后再使用那些能够解决特定领域问题的工具。逐步推广，步步为营，不要把理想定得太高，否则失望会愈大。

储备好大数据相关技术人才

企业运用大数据为营销管理服务之前，技术团队要到位是基础。企业管理团队要能够非常自如地玩转数据。许多人认为社交媒体营销人是个有趣的工作，其实它是个艰苦的活儿。社交化空间非常注重数据、衡量标准和数据可视化等问题。要能熟悉驾驭，首先要确保企业技术人员已经接受过相关技能培训，了解如何最大化利用大数据的作用和潜力为企业营销管理服务。

解决碎片化问题

企业启动大数据营销管理一个最重要的挑战，是数据的碎片化、零杂化。许多公司组织中，数据都散落在互不连通的数据库中，而且相应的数据技术也都存在于不同部门中，如何将这些孤立错位的数据库打通、互联，并且实现技术共享，才是能够最大化大数据价值的关键。管理者当留意的是，数据策略要成功提升网络营销管理成效，要诀在于无缝对接网络企业管理与营销的每一步骤，从数据收集、到数据挖掘、应用、提取洞悉、报表等。

培养内部整合能力

要做好大数据的应用管理，其一，要有较强的整合数据的能力，整合与来自企业各种不同的数据源、各种不同结构的数据，如客户关系管理、搜索、移动、社交媒体、网络分析工具、普查数据以及离线数据，这些整合而得的数据是定向更大目标受众的基础;其二，要有研究探索数据背后价值的能力。未来营销管理成功的关键将取决于如何在大数据库中挖掘更丰富的营销价值。像是站内、站外的数据整合、多方平台的数据接轨、结合人口与行为数据去建立优化算法等都是未来的发展重点;其三，探索出来之后给予精确行动的管理指导纲领，同时通过此纲领进行精确快速实时性行动。

而从社会、国家领域而言，我国亟须在国家层面对大数据给予高度重视，特别需要从政策制定、资源投入、人才培养等方面给予强有力的支持;另一方面，建立良性的大数据生态环境是有效应对大数据挑战、用好大数据的主要出路，需要科技界、工业界以及政府部门在国家政策的引导下共同努力，通过消除壁垒、成立联盟、大数据质量标准、建立专业组织等途径，建立和谐的大数据生态系统。

总之，谁率先具备从各种各样类型的数据中快速获得有价值信息的能力与机会，谁就是赢家!

⑷ 面对当前海量网络数据包带来的种种挑战，网络运维应注意哪些方面

1、重视防卫网络漏洞
当前世界，网络犯罪分子正借助伪装技巧和错误引导全面侵入企业网络，这并非假设，而是事实。现在，平均每14秒钟就有一起网络攻击事件发生，CIO，CISO，网络运维人员(NetOps)，安全运维人员（InfoSec）以及安全团队必须能够实现对数据包的全面可视化，通过深度数据包检测技术，实现对全部动态信息的全面可视化，了解这些数据包中具体包含哪些信息。数据包可视化可帮助安全团队对进出网络的网络事件进行主动和全面检视，从而将网络安全战略带入实施的下一阶段。
2、推动数字化转型
现在，很多组织都寄希望于数字化转型，而要实现成功，应用智能是关键。当前，90%的组织都在进行由新型数字应用驱动的数字化转型。尽管现代多层应用为组织带来了一定的灵活性和创新能力，但其背后的复杂性也让监测和保护这些应用变得日益困难。毕竟，根据Forrester最近的一项调查，IT复杂性已经成为CISO面临的首要挑战。
为了应对复杂性带来的挑战，应用智能技术可帮助高层自动梳理数据，只采集最相关的应用流量用于分析。一个成功的数字化转型项目肯定也是极度复杂的，而应用智能所具有的分析和工具则填补了这一断层，它可以帮助商业领袖快速、准确完成工作，这对改善业务、提升客户体验都有巨大帮助。
3、检查是否有盲点
在组织进行数字化转型的时候，网络犯罪分子也在寻找薄弱之处。网络攻击不会自动消失，实际上网络攻击只会越来越多，不会越来越少，这使得那些商业领袖们比以往任何时候都更需要对动态数据的可视化，并在搭建基础设施时将其指定为基本设计原则。
应用智能为NetOps和InfoSec团队提供了实现全面网络可视化所必需的框架，可对运行于网络之上的大量应用自动生成洞察，助力组织加速数字化进程。借助这种能力，NetOps和InfoSec团队就可以消除任何现有盲点。此外，应用智能还可以帮助IT深入了解每个应用和组件，进而识别出潜在的瓶颈和安全漏洞。通过消除数据孤岛以及在组织中共享应用常识，CIO和CISO就可以优化企业绩效，解决潜在问题，提供最佳客户体验。

⑸ 如何应对大数据时代的运维挑战

在企业内部也是一样，当大量的生产和经营数据集中在数据中心，一旦人们与数据中心因为IT故障而失去联系，停滞的也许不是个人应用受阻这样简单的后果。为了应对大数据下的新业务需求，传统的IT运维管理就需要针对数据中心基础架构做出改变，这种进化包括针对虚拟化和服务交付能力的调整，以及IT与业务融合所必备的方法和工具。 数据中心迎来了“按需配置”的变革 过去，每次当我们的数据中心的业务容量不足的时候，就会想到增加更多的硬件、设备来满足客户需求。但在海量数据汹涌来袭的时候，这种增加都是被动的、延迟的。据统计，互联网上的数据每两年翻一番，而目前世界上90%以上的数据都是最近几年才产生的，这为大数据概念的横空出世做好了准备。数据的增长超出了我们的预期，那么是否可以找到一个办法，让我们可以对业务部门提供一种“按需分配”的低成本方案呢？虚拟化技术以其降低成本、灵活性，以及动态的扩容特性，给出了最佳的答案。 许多企业希望采用云计算和虚拟化技术实现“按需配置”的基础环境、服务等级，实现更低的成本和更高的盈利。然而，要从大数据这个藏量巨大的金矿中淘到金子，并没那么容易，传统架构下的IT运维管理与成熟的虚拟化技术并没有齐头并进。 首先，虚拟机一旦出现故障，如果不能及时恢复，这个损失可能远远超过节省电源和空间的费用。其次，虚拟机的灵活性对IT运维中的“配置管理”可谓是一杯毒酒，泛滥的迁移和扩容会让IT基础设备重新回到混乱的过去。在传统数据中心，管理员可以确定地表述：我的数据库在服务器A上运行，这台服务器与交换机B进行连接并使用存储阵列C，它们的性能指标都非常良好。但动态数据中心采用虚拟化技术后，解耦了这种关系，更具伸缩性，或是随意的（人们对“灵活性”的误读）利用这些基础设施资源。业务系统可以位于服务器集群中的任何计算节点上，可以利用任何存储设备上的存储空间，可以使用虚拟网络，也可以进行转移以满足性能或运营需求。但这些优势，却在IT运维管理中造成“看不见”、“说不清”的严重问题。 虚拟化运维管理的“两大难题”如何突破？ 如果你都不知道自己的IT环境里有什么，就别指望控制、维护和提高它们。因此，配置管理和性能监控在任何时候都没有变，它们只是进化到了更高的阶段。 作为国内领先的IT运维管理专家，北塔软件认为：IT运维管理不是一蹴而就的，更不是一成不变的，大数据情形下的网络管理将要应对更多的技术和管理层面的挑战。之前，针对基础设施的监控一般侧重对物理设备、物理网络、物理存储的管理，而虚拟化后的变更操作变得越来越简单，但这会使得一些虚拟机脱离管理的范围，尤其是在配置管理和性能监控两个方面。管理人员需要对新增的虚拟网络、数据存储、虚拟机、ESX/ESXi主机数量、集群对象提供一种与之配套的IT运维管理工具。 从改进配置管理开始着手是很重要的一步，因为这可以清晰地呈现出不断变化的虚拟机、物理服务器、存储和网络资源之间的关系。另外，随着每台物理机上托管的虚拟机数量增多并提高了整体利用率，性能测算与监控的重要性也在攀升。为了预防虚拟机密度过大，或者利用率不足的问题（虚拟化之后，这个问题并没有完全消除），运维管理人员必须拥随时调整物理主机的承载力。 为了消除用户大数据时代的运维顾虑，在全面提供了对主机、网络、机房等领域的管理解决方案之后，北塔软件在北塔BTIM（BetasoftIntegratedManagement，IT综合管理软件）中增加了针对VMware虚拟化管理和FC-SAN存储管理解决方案。

⑹ SQL Server DBA如何应对海量数据挑战

如今许多公司都在构建数据仓库，从各种数据来源整合数据，使他们更便于展示。每个数据仓库规模、复杂度和实施都各有不同，但是有一点是不变的：管理和处理数据仓库表比联机事务处理(OLTP)系统需要更多规划和提前思考。让我们来看看，在处理越来越大的数据集市时数据库管理员(DBA)面临的几个挑战。在使用数据仓库时，你会发现那些在小表上执行很快的操作如果没有规划和停顿基本不可能执行了。表锁定操作(比如，重建索引或者增加列)可能会花数小时时间，而不是几秒种。在一些数据仓库中，你可能有比OLTP系统中更长的窗口要维护，但是一旦你习惯了几十亿行级的数据，你就知道这里是完全不一样的玩法。SQL Server中提供了一些功能，让管理非常巨大的表更容易了一些，尽管许多功能只在微软的某些企业版中才可用。例如，重建索引功能支持你在联机模式重建索引，也就是说该表不必锁定，在重建索引时仍然可用。另一个值得了解的企业版功能是表分区。给带有许多索引的巨大表加载数据执行会很慢，因为插入每一行以后索引需要更新。如果你先删除索引再做，你的加载数据过程会更快，但是之后你仍然需要重建索引。当表非常巨大时，你可能每天都在添加数据，重建索引意味着你本质上是在一遍一遍做同样的事情。表分区解决了这个问题，它支持你创建合适的分区(比如，按月，按天，按年和月，按年和周)，可以运行你的分区加载到空的临时表。一旦你的加载完成了，就可以创建与你在主表上相同的索引，并把分区“切换”到主表。在系统后台，SQL Server只修改元数据，临时表变成了主表的一部分。如果你有大于30GB到40GB的表，那你必须严肃处理分区问题。正如你可以切入分区一样，你也可以切出分区，在几毫秒内从一个表中删除数百万行数据。如果你曾经做过以小增量批量删除数百万行数据，你就知道它会花数小时时间，而且会增加你事务日志和日志备份文件的大小。切出分区只是修改一下表的元数据和内部指针。页压缩也可以带来显着的数据查询性能改善。它尤其对那些包含多次出现相同值的数据仓库表有益处。如果你压缩了你的数据页，你会获得两方面好处：你的数据会占用更少的空间，查询将运行更快。你付出的代价是更高性能的CPU，所以要确保测试是否可用并监视CPU的使用量。大部分数据库服务器都有空闲的CPU备用，因为磁盘I/O很容易变成第一个瓶颈。给大表增加非空列可能会需要很长时间。那是因为SQL Server需要扩展每一行，追加一列并给其填充值。表将保持锁定，在大表上操作会花数小时之久。更好的做法是先添加一列允许为空，然后运行处理给该列添加需要的值。做完这些以后，再修改列类型，使其不允许为空。既然数据仓库服务器需要能源，而且通常会有多个处理器，企业授权成本那是相当可观。在一些情况下，你可以使用SQL Server客户端访问授权(CAL)作为你数据仓库的授权。这使得一小部分用户可以直接访问数据。但是一旦你完成了数据加载和CAL服务器授权处理，就可以把聚合数据和报表用表转移到更廉价的SQL Server实例上——比如，标准版或者工作组版——那些是按每处理器授权的。那样的话，你就可以从Web应用程序访问数据了。在构建数据仓库时，DBA会面临几个挑战，但是管理大表肯定是可行的。例如，像联机索引重建，索引分区或者页压缩都是有帮助的策略，通过提升速度并增加这类表的数据库可用性。请记住，这些都是非常巨大的数据量，所以要提前考虑和谨慎规划你的数据加载策略。你的组织可是指望你保证那些数据仓库表可用呢。

⑺ 大数据时代的应对措施

一个好的企业应该未雨绸缪，从现在开始就应该着手准备，为企业的后期的数据收集和分析做好准备，企业可以从下面六个方面着手，这样当面临铺天盖地的大数据的时候，以确保企业能够快速发展，具体为下面六点。
目标
几乎每个组织都可能有源源不断的数据需要收集，无论是社交网络还是车间传感器设备，而且每个组织都有大量的数据需要处理，IT人员需要了解自己企业运营过程中都产生了什么数据，以自己的数据为基准，确定数据的范围。
准则
虽然每个企业都会产生大量数据，而且互不相同、多种多样的，这就需要企业IT人员在现在开始收集确认什么数据是企业业务需要的，找到最能反映企业业务情况的数据。
重新评估
大数据需要在服务器和存储设施中进行收集，并且大多数的企业信息管理体系结构将会发生重要大变化，IT经理则需要准备扩大他们的系统，以解决数据的不断扩大，IT经理要了解公司现有IT设施的情况，以组建处理大数据的设施为导向，避免一些不必要的设备的购买。
重视大数据技术
大数据是最近几年才兴起的词语，而并不是所有的IT人员对大数据都非常了解，例如如今的Hadoop，MapRece，NoSQL等技术都是2013年刚兴起的技术，企业IT人员要多关注这方面的技术和工具，以确保将来能够面对大数据的时候做出正确的决定。
培训企业的员工
大多数企业最缺乏的是人才，而当大数据到临的时候，企业将会缺少这方面的采集收集分析方面的人才，对于一些公司，特别是那种人比较少的公司，工作人员面临大数据将是一种挑战，企业要在平时的时候多对员工进行这方面的培训，以确保在大数据到来时，员工也能适应相关的工作。
培养三种能力
Teradata大中华区首席执行官辛儿伦对新浪科技表示，随着大数据时代的到来，企业应该在内部培养三种能力。第一，整合企业数据的能力；第二，探索数据背后价值和制定精确行动纲领的能力；第三，进行精确快速实时行动的能力。
做到上面的几点，当大数据时代来临的时候，面临大量数据将不是束手无策，而是成竹在胸，而从数据中得到的好处也将促进企业快速发展。

⑻ 在大数据时代,电子商务管理面临怎样的挑战,企业应该如何应对

摘要 随着移动网络、云计算、物联网等新兴技术迅猛发展，全球数据呈爆炸式增长，标志着我们迎来又一伟大时代——大数据时代，它的到来在不知不觉中改变着人们的生活方式和思维方式，而它对企业产生的影响也更为深远。过去技术水平和财力是衡量一家企业竞争力的主要标准，而现在企业对“大数据”的应用程度也成为提升企业的竞争力的主要手段。

⑼ 如何应对大数据时代的变革机遇挑战

大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。麦肯锡公司的报告指出数据是一种生产资料，大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富，价值堪比石油。因此，发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手。

大数据时代的来临

互联网特别是移动互联网的发展，加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示，1998年全球网民平均每月使用流量是1MB（兆字节），2000年是10MB，2003年是100MB，2008年是1GB（1GB等于1024MB），2014年将是10GB。全网流量累计达到1EB（即10亿GB或1000PB）的时间在2001年是一年，在2004年是一个月，在2007年是一周，而2013年仅需一天，即一天产生的信息量可刻满1.88亿张DVD光盘。我国网民数居世界之首，每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易，单日数据产生量超过50TB（1TB等于1000GB），存储量40PB(1PB等于1000TB)。网络公司目前数据总量接近1000PB，存储网页数量接近1万亿页，每天大约要处理60亿次搜索请求，几十PB数据。一个8Mbps（兆比特每秒）的摄像头一小时能产生3.6GB数据，一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在，一个病人的CT影像数据量达几十GB，而全国每年门诊人数以数十亿计，并且他们的信息需要长时间保存。总之，大数据存在于各行各业，一个大数据时代正在到来。

信息爆炸不自今日起，但近年来人们更加感受到大数据的来势迅猛。一方面，网民数量不断增加，另一方面，以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网，人均0.1个；2013年全球将有500亿个设备联网，人均70个。随着宽带化的发展，人均网络接入带宽和流量也迅速提升。全球新产生数据年增40%，即信息总量每两年就可以翻番，这一趋势还将持续。目前，单一数据集容量超过几十TB甚至数PB已不罕见，其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。

数据规模越大，处理的难度也越大，但对其进行挖掘可能得到的价值更大，这就是大数据热的原因。首先，大数据反映舆情和民意。网民在网上产生的海量数据，记录着他们的思想、行为乃至情感，这是信息时代现实社会与网络空间深度融合的产物，蕴含着丰富的内涵和很多规律性信息。根据中国互联网络信息中心统计，2012年底我国网民数为5.64亿，手机网民为4.2亿，通过分析相关数据，可以了解大众需求、诉求和意见。其次，企业和政府的信息系统每天源源不断产生大量数据。根据赛门铁克公司的调研报告，全球企业的信息存储总量已达2.2ZB（1ZB等于1000EB），年增67％。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元，收集环境和社会管理所需的信息。2011年，英国《自然》杂志曾出版专刊指出，倘若能够更有效地组织和使用大数据，人类将得到更多的机会发挥科学技术对社会发展的巨大推动作用。

大数据应用的领域

大数据技术可运用到各行各业。宏观经济方面，IBM日本公司建立经济指标预测系统，从互联网新闻中搜索影响制造业的480项经济数据，计算采购经理人指数的预测值。印第安纳大学利用谷歌公司提供的心情分析工具，从近千万条网民留言中归纳出六种心情，进而对道琼斯工业指数的变化进行预测，准确率达到87%。制造业方面，华尔街对冲基金依据购物网站的顾客评论，分析企业产品销售状况；一些企业利用大数据分析实现对采购和合理库存量的管理，通过分析网上数据了解客户需求、掌握市场动向。有资料显示，全球零售商因盲目进货导致的销售损失每年达1000亿美元，这方面的数据分析大有作为。

在农业领域，硅谷有个气候公司，从美国气象局等数据库中获得几十年的天气数据，将各地降雨、气温、土壤状况与历年农作物产量的相关度做成精密图表，预测农场来年产量，向农户出售个性化保险。在商业领域，沃尔玛公司通过分析销售数据，了解顾客购物习惯，得出适合搭配在一起出售的商品，还可从中细分顾客群体，提供个性化服务。在金融领域，华尔街“德温特资本市场”公司分析3.4亿微博账户留言，判断民众情绪，依据人们高兴时买股票、焦虑时抛售股票的规律，决定公司股票的买入或卖出。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和讲究诚信的企业，对他们发放无需担保的贷款。目前已放贷300多亿元，坏账率仅0.3%。

在医疗保健领域，“谷歌流感趋势”项目依据网民搜索内容分析全球范围内流感等病疫传播状况，与美国疾病控制和预防中心提供的报告对比，追踪疾病的精确率达到97%。社交网络为许多慢性病患者提供临床症状交流和诊治经验分享平台，医生借此可获得在医院通常得不到的临床效果统计数据。基于对人体基因的大数据分析，可以实现对症下药的个性化治疗。在社会安全管理领域，通过对手机数据的挖掘，可以分析实时动态的流动人口来源、出行，实时交通客流信息及拥堵情况。利用短信、微博、微信和搜索引擎，可以收集热点事件，挖掘舆情，还可以追踪造谣信息的源头。美国麻省理工学院通过对十万多人手机的通话、短信和空间位置等信息进行处理，提取人们行为的时空规律性，进行犯罪预测。在科学研究领域，基于密集数据分析的科学发现成为继实验科学、理论科学和计算科学之后的第四个范例，基于大数据分析的材料基因组学和合成生物学等正在兴起。

麦肯锡公司2011年报告推测，如果把大数据用于美国的医疗保健，一年产生潜在价值3000亿美元，用于欧洲的公共管理可获得年度潜在价值2500亿欧元；服务提供商利用个人位置数据可获得潜在的消费者年度盈余6000亿美元；利用大数据分析，零售商可增加运营利润60%，制造业设备装配成本会减少50%。

大数据技术的挑战和启示

目前，大数据技术的运用仍存在一些困难与挑战，体现在大数据挖掘的四个环节中。首先在数据收集方面。要对来自网络包括物联网和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。其次是数据存储。要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。第三是数据处理。有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。第四是结果的可视化呈现，使结果更直观以便于洞察。目前，尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行业中难以通用。

大数据技术的运用前景是十分光明的。当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决策具有重要意义，我们必须重新认识数据的重要价值。

为了开发大数据这一金矿，我们要做的工作还很多。首先，大数据分析需要有大数据的技术与产品支持。发达国家一些信息技术（IT）企业已提前发力，通过加大开发力度和兼并等多种手段，努力向成为大数据解决方案提供商转型。国外一些企业打出免费承接大数据分析的招牌，既是为了练兵，也是为了获取情报。过分依赖国外的大数据分析技术与平台，难以回避信息泄密风险。有些日常生活信息看似无关紧要，其实从中也可摸到国家经济和社会脉搏。因此，我们需要有自主可控的大数据技术与产品。美国政府2012年3月发布《大数据研究与发展倡议》，这是继1993年宣布“信息高速公路”之后又一重大科技部署，联邦政府和一些部委已安排资金用于大数据开发。我们与发达国家有不少差距，更需要国家政策支持。

中国人口居世界首位，将会成为产生数据量最多的国家，但我们对数据保存不够重视，对存储数据的利用率也不高。此外，我国一些部门和机构拥有大量数据却不愿与其他部门共享，导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁，应注重公开信息，应重视数据挖掘。美国联邦政府建立统一数据开放门户网站，为社会提供信息服务并鼓励挖掘与利用。例如，提供各地天气与航班延误的关系，推动航空公司提升正点率。

大数据的挖掘与利用应当有法可依。去年底全国人大通过的加强网络信息保护的决定是一个好的开始，当前要尽快制定“信息公开法”以适应大数据时代的到来。现在很多机构和企业拥有大量客户信息。应当既鼓励面向群体、服务社会的数据挖掘，又要防止侵犯个体隐私；既提倡数据共享，又要防止数据被滥用。此外，还需要界定数据挖掘、利用的权限和范围。大数据系统本身的安全性也是值得特别关注的，要注意技术安全性和管理制度安全性并重，防止信息被损坏、篡改、泄露或被窃，保护公民和国家的信息安全。

大数据时代呼唤创新型人才。盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万—49万，缺口14万—19万人；需要既熟悉本单位需求又了解大数据技术与应用的管理者150万，这方面的人才缺口更大。中国是人才大国，但能理解与应用大数据的创新人才更是稀缺资源。

大数据是新一代信息技术的集中反映，是一个应用驱动性很强的服务领域，是具有无穷潜力的新兴产业领域；目前，其标准和产业格局尚未形成，这是我国实现跨越式发展的宝贵机会。我们要从战略上重视大数据的开发利用，将它作为转变经济增长方式的有效抓手，但要注意科学规划，切忌一哄而上。

（作者：中国工程院院士）

⑽ 大数据时代应如何应对变革带来的机遇与挑战

大数据时代应如何应对变革带来的机遇与挑战

大数据时代带给我们更多冲击，要想与时俱进，并不断的提升，那就要摒弃原来的传统思想，大胆努力的接受大数据带来的新挑战。想要弄清楚大数据时代带给我们的变化，那就要先知道大数据是什么，这样方可以更好的迎接大挑战，应对时代带来的变革。大数据是指海量的数据，这是非结构化的数据，无法用传统的数据来处理。大数据技术的应用给人们生活带来了诸多的便利性，许多疫情的报告都来源于大数据。
大数据的应用并不是那么简单，其引发的是模式的变革，其应用不仅仅是发电、输电，而是基于互联网技术，这对于人们的生产过程以及商品交换带来了变革性的影响。整个变革过程的技术手段就是数据的挖掘与分析，其是在互联网基础上，将使制造行业的生产效率大幅度提升。大灵气无法产生新的物质产品，也无法创造新的市场需求，但却可以大幅度的提升生产力。
国际上对于大数据的定义了四大特征，那就是海量的数据规模、快速的数据流转、动态的数据体系、多样的数据类型以及巨大的数据价值。基于大数据的全国的数据信息总量每两年就翻番。对于企业而言，大数据来源于企业内部信息系统所产生的运营数据，数据越大结果越好。成功的进入大数据时代，企业将拥有更多的发展潜能。
通过对大数据的处理，人们放弃了因果关系而选择了相互联系。在未来的几年内，大数据将成为提升公司竞争力的有力基础，行业与行业之间的竞争将演变为数据的竞争，所以，解决数据资源的搜索与共享将成为当务之急。以互联网行业的代表阿里巴巴和谷歌为例，前者的服务器都达到了上万台，而后者则超过了五十万台，这就是数据的差别。
大数据是一种运营模式，数据的膨胀决定了企业的未来发展方向，越来越多的企业意识到了数据增涨的隐患。随着时间的推移，数据对于人们和企业的重要性会越发突显。