1、爬蟲技術即網絡爬蟲（又稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本 。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲 。
【什么是爬蟲技術 什么是網絡爬蟲】2、網絡爬蟲按照系統結構和實現技術，大致可以分為以下幾種類型：通用網絡爬蟲（GeneralPurposeWebCrawler）、聚焦網絡爬蟲（FocusedWebCrawler）、增量式網絡爬蟲（IncrementalWebCrawler）、深層網絡爬蟲（DeepWebCrawler） 。實際的網絡爬蟲系統通常是幾種爬蟲技術相結合實現的 。
