網頁抓取
此條目沒有列出任何參考或來源。 (2016年3月15日) |
網頁抓取(英語:web scraping)是一種從網頁上獲取頁面內容的計算機軟件技術。通常透過軟件使用低級別的超文本傳輸協議模仿人類的正常訪問。
網頁抓取和網頁索引極其相似,其中網頁索引指的是大多數搜索引擎採用使用的機器人或網絡爬蟲等技術。與此相反,網頁抓取更側重於轉換網絡上非結構化數據(常見的是HTML格式)成為能在一個中央數據庫和電子表格中儲存和分析的結構化數據。網頁抓取也涉及到網絡自動化,它利用計算機軟件模擬了人的瀏覽。網頁抓取的用途包括在線的價格比較,聯繫人抓取,氣象數據監測,網頁變化檢測,科研,混搭和Web數據集成。
技術層面 編輯
網絡抓取用於自動化獲取萬維網上的信息
- 人工複製與粘貼:最好的網頁抓取技術也比不上人類的手工複製與粘貼,尤其是在某些網站採取技術手段禁止自動化網頁抓取的情況下,人工的複製與粘貼就成了唯一的解決方案。