網頁抓取(英語:web scraping)是一種從網頁上獲取頁面內容的計算機軟件技術。通常透過軟件使用低級別的超文本傳輸協議模仿人類的正常訪問。

網頁抓取和網頁索引極其相似,其中網頁索引指的是大多數搜索引擎採用使用的機器人網絡爬蟲等技術。與此相反,網頁抓取更側重於轉換網絡上非結構化數據(常見的是HTML格式)成為能在一個中央數據庫和電子表格中儲存和分析的結構化數據。網頁抓取也涉及到網絡自動化,它利用計算機軟件模擬了人的瀏覽。網頁抓取的用途包括在線的價格比較,聯繫人抓取,氣象數據監測,網頁變化檢測,科研,混搭和Web數據集成。

技術層面 編輯

網絡抓取用於自動化獲取萬維網上的信息

  • 人工複製與粘貼:最好的網頁抓取技術也比不上人類的手工複製與粘貼,尤其是在某些網站採取技術手段禁止自動化網頁抓取的情況下,人工的複製與粘貼就成了唯一的解決方案。
  • 文本搜索與正則表達式:文本搜索並且配合正則表達式可以有效的從頁面上提取需要的內容。在基於UNIX的系統上可以使用grep,在其他平台或其他編程語言(例如PerlPython)中也有相應的命令或語法。
  • HTML語法分析器:很多網站都是使用數據庫來存儲他們的數據,用戶訪問的時候再通過程序自動按照指定的格式生成,由於生成的這些網頁都採用了相同的的格式或者模板等,所以可以通過對獲取到的HTML頁面使用語法分析器進行語法分析,然後就可以使用HTML標籤來提取需要的內容。使用HTML語法分析器同文本搜索與正則表達式相比較程序更加的健壯,也免於構造複雜的正則表達式。

著名工具 編輯

參見 編輯