⑴ 常见的大数据采集工具有哪些
1、离线搜集工具：ETL
在数据仓库的语境下，ETL基本上便是数据搜集的代表，包括数据的提取(Extract)、转换(Transform)和加载(Load)。在转换的过程中，需求针对具体的事务场景对数据进行治理，例如进行不合法数据监测与过滤、格式转换与数据规范化、数据替换、确保数据完整性等。
2、实时搜集工具：Flume/Kafka
实时搜集首要用在考虑流处理的事务场景，比方，用于记录数据源的履行的各种操作活动，比方网络监控的流量办理、金融运用的股票记账和 web 服务器记录的用户访问行为。在流处理场景，数据搜集会成为Kafka的顾客，就像一个水坝一般将上游源源不断的数据拦截住，然后依据事务场景做对应的处理(例如去重、去噪、中心核算等)，之后再写入到对应的数据存储中。
3、互联网搜集工具：Crawler, DPI等
Scribe是Facebook开发的数据(日志)搜集体系。又被称为网页蜘蛛，网络机器人，是一种按照一定的规矩，自动地抓取万维网信息的程序或者脚本，它支持图片、音频、视频等文件或附件的搜集。
除了网络中包含的内容之外，关于网络流量的搜集能够运用DPI或DFI等带宽办理技术进行处理。
⑵ 常用的数据挖掘工具有哪些
1、
Weka
WEKA作为一个公开的数据挖掘工作平台，集合了大量能承担数据挖掘任务的机器学习算法，包括对数据进行预处理，分类，回归、聚类、关联规则以及在新的交互式界面上的可视化。
2、
Rapid
Miner
RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。
3、
Orange
Orange是一个基于组件的数据挖掘和机器学习软件套装，它的功能即友好，又很强大，快速而又多功能的可视化编程前端，以便浏览数据分析和可视化，基绑定了
Python以进行脚本开发。它包含了完整的一系列的组件以进行数据预处理，并提供了数据帐目，过渡，建模，模式评估和勘探的功能。其由C++
和
Python开发，它的图形库是由跨平台的Qt框架开发。
4、
Knime
KNIME
(Konstanz
Information
Miner)
是一个用户友好，智能的，并有丰演的开源的数据集成，数据处理，数据分析和数据勘探平台。
5、
jHepWork
jHepWork是一套功能完整的面向对象科学数据分析框架。
Jython宏是用来展示一维和二维直方图的数据。该程序包括许多工具，可以用来和二维三维的科学图形进行互动。
6、
Apache
Mahout
Apache
Mahout
是
Apache
Software
Foundation
(ASF)
开发的一个全新的开源项目，其主要目标是创建一些可伸缩的机器学习算法，供开发人员在
Apache
在许可下免费使用。该项目已经发展到了它的最二个年头，目前只有一个公共发行版。Mahout
包含许多实现，包括集群、分类、CP
和进化程序。此外，通过使用
Apachehadoop库，Mahout
可以有效地扩展到云中。
7、
ELKI
ELKI(Environment
for
Developing
KDD-Applications
Supported
by
Index-Structures)主要用来聚类和找离群点。ELKI是类似于weka的数据挖掘平台，用java编写，有GUI图形界面。可以用来寻找离群点。
8、
Rattle
Rattle(易于学习的
R
分析工具)提供数据的统计和可视化摘要，将数据转换成容易建模的形式，从数据中构建无监督和监督模型，以图形方式呈现模型的性能，并得出新的数据集。
展开