公開數據源怎麼收集

① 請分別列舉出網路信息收集的主要工具和網路信息收集的途徑主要有哪些

掃描儀：（紙制材料掃描成圖片，利用ocr識別為文字）。

照相機：主要用於採集圖像信息。

攝像機：主要用於採集信息。

要理解網路信息採集系統要求從互聯網上對特定目標數據源或不特定目標數據源進行採集與監控，並對信息進行結構化抽取保存為本地結構化資料庫，然後按業務流程需求與其它模塊結合，導入與應用並服務於到電子行業平台。

互聯網數據採集與挖掘技術是指利用計算機軟體技術，針對定製的目標數據源，實時進行信息採集、抽取、挖掘、處理，從而為各種信息服務系統提供數據輸入，並按業務所需來進行數據發布、分析的整個過程。

(1)公開數據源怎麼收集擴展閱讀：

可以做到：

實時而准確地採集國內外新聞，行業新聞，技術文章。

實時而准確地採集競爭對手以及供應商的新聞，人事，產品，價格等信息。

實時而准確地採集公共信源的商業情報（同行產品價格，競爭對手的用戶反饋，行業新聞）。

實時而准確地採集本企業的品牌以及競爭對手的品牌在各大搜索引擎中的結果。

實時而准確地採集各大行業論壇中的信息，從中了解消費者的需求與反饋，從而發現市場趨勢與商業機會。

准確地從網路公共信息中採集銷售線索，潛在客戶的資料。

② 大數據採集方法有哪些 流程是怎樣的

數據採集是所有數據系統必不可少的，大數據的採集方法有離線採集、實時採集、互聯網採集和其他數據採集方法。

大數據的採集方法是什麼

1、離線採集：

工具：ETL。在數據倉庫的語境下，ETL基本上就是數據採集的代表，包括數據的提取喚蔽、轉換(Transform)和載入。在轉換的過程中，需要針對具體的業務場景對數據進行治理，例如進行非法數據監測與過濾、格式轉換與數據規范化、數據替換、保證數據完整性等。

2、實時採集：

工具：Flume/Kafka。實時採集主要用在考慮流處理的業務場景，比如，用於記錄數據源的執行的各種操作正鏈漏活動，比如網路監控的流量管理、金融應用的股票記賬和 web 伺服器記錄的用戶訪問行為。在流處理場景，數據採集會成為Kafka的消費者，就像一個水壩一般將上游源源不斷的數據攔截住，然後根據業務場景做對應的處理（例如去重、去噪、中間計算等），之後再寫入到對應的數據存儲中。

這個過程類似傳統的ETL，但它是流式的處理方式，而非定時的批處理Job，些工具均採用分布式架構，能滿足每秒數百MB的日誌數據採集和傳輸需求

3、互聯網採集：

工具：Crawler，DPI等。Scribe是Facebook開發的數據（日誌）收集系統。又被稱為網頁蜘蛛，網路機器人，是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本，它支持圖片、音頻、視頻等文件或附件的採集。

大數據採集的流程是什麼

大數據數據採集處理流程主要包括數據收集、數據預處理、數據存儲、數據處理與分析等環節，數據質量貫穿於整個大數據流程，非常的關鍵。每一個數據處理環節都會對大數據質量產生影響作用。下面就來說一下大數據數據採集的流程及處理方法。

大數據數據採集在數據收集過程中，數據源會影響大數據質量的真實性、完整性數據收集、一致性、准確性和安全性。

數據預處理大數據採集過程中通常有一個或多個數據源，這些數舉爛據源包括同構或異構的資料庫、文件系統、服務介面等，易受到雜訊數據、數據值缺失、數據沖突等影響，因此需首先對收集到的大數據集合進行預處理，以保證大數據分析與預測結果的准確性與價值性。

③ 數據採集的數據源有哪些

從數據採集角度來說，都有哪些數據源呢？
這四類數據源包括了：開放數據源、爬蟲抓取、感測器和日誌採集
開放數據源一般是針對行業的資料庫。國內，貴州做了不少大膽嘗試，搭建了雲平台，逐年開放了旅遊、交通、商務等領域的數據量
爬蟲抓取，一般是針對特定的網站或 App。如果我們想要抓取指定的網站數據，比如購物網站上的購物評價等，就需要我們做特定的爬蟲抓取。
第三類數據源是感測器，它基本上採集的是物理信息。比如圖像、視頻、或者某個物體的速度、熱度、壓強等。
最後是日誌採集，這個是統計用戶的操作。我們可以在前端進行埋點，在後端進行腳本收集、統計，來分析網站的訪問情況，以及使用瓶頸等

如何使用開放數據源
一個是單位的維度，比如政府、企業、高校；一個就是行業維度，比如交通、金融、能源等領域
如何使用爬蟲做抓取
在 Python 爬蟲中，基本上會經歷三個過程。
1、使用 Requests 爬取內容。我們可以使用 Requests 庫來抓取網頁信息。Requests 庫可以說是 Python 爬蟲的利器，也就是 Python 的 HTTP 庫，通過這個庫爬取網頁中的數據，非常方便，可以幫我們節約大量的時間。
2、使用 XPath 解析內容。XPath 是 XML Path 的縮寫，也就是 XML 路徑語言。它是一種用來確定 XML 文檔中某部分位置的語言，在開發中經常用來當作小型查詢語言。XPath 可以通過元素和屬性進行位置索引。
3、使用 Pandas 保存數據。Pandas 是讓數據分析工作變得更加簡單的高級數據結構，我們可以用 Pandas 保存爬取的數據。最後通過 Pandas 再寫入到 XLS 或者 MySQL 等資料庫中。
Requests、XPath、Pandas 是 Python 的三個利器。當然做 Python 爬蟲還有很多利器，比如 Selenium，PhantomJS，或者用 Puppteteer 這種無頭模式。