在實際的完整爬蟲工作中，通常有幾類爬蟲的組合體構成的。爬蟲按照實現的技術和結構可以分為通用網絡爬蟲、聚焦網絡爬蟲、增量式網絡爬蟲、深層網絡爬蟲等類型。

     通用網絡爬蟲：可以叫作全網爬蟲，這類爬蟲爬取的目標資源在全互聯網中。他們并且爬行的范圍目標數據是巨大的，正是由于其爬取的數據是海量數據，故而對于這類爬蟲來說，其爬取的性能要求是非常高的，這種網絡爬蟲主要應用于大型搜索引擎中，有非常高的應用價值。通用網絡爬蟲在爬行的時候，必須要采取一定的爬行策略，除了控制頻率，爬蟲ip代理的合理運用也尤為重要，畢竟這樣的頻繁操作下會對網站造成壓力，換ip能夠隱藏訪問網站時的身份，大大減少賬號被封的風險。

     聚焦網絡爬蟲：也叫主題網絡爬蟲，聚焦網絡爬蟲是按照預先定義好的主題有選擇地進行網頁爬取的一種爬蟲，聚焦網絡爬蟲不像通用網絡爬蟲一樣將目標資源定位在全互聯網中，而是將爬取的目標網頁定位在與主題相關的頁面中，此時，可以大大節省爬蟲爬取時所需的帶寬資源和服務器資源。聚焦網絡爬蟲主要應用在對特定信息的爬取中，主要為某一類特定的人群提供服務。

     增量式網絡爬蟲：指在更新的時候只更新改變的地方，而未改變的地方則不更新，所以增量式網絡爬蟲，在爬取網頁的時候，只爬取內容發生變化的網頁或者新產生的網頁，對于未發生內容變化的網頁，則不會爬取。增量式網絡爬蟲在一定程度上能夠保證所爬取的頁面，盡可能是新頁面。

     深層網絡爬蟲：互聯網中網頁按存在方式分類，可以分為表層頁面和深層頁面。所謂的表層頁面，指的是不需要提交表單，使用靜態的鏈接就能夠到達的靜態頁面；而深層頁面則隱藏在表單后面，不能通過靜態鏈接直接獲取，是需要提交一定的關鍵詞之后才能夠獲取得到的頁面。在互聯網中，深層頁面的數量往往比表層頁面的數量要多很多，故而，我們需要想辦法爬取深層頁面，爬取深層頁面，需要想辦法自動填寫好對應表單，所以，深層網絡爬蟲最重要的部分即為表單填寫部分。

     精靈ip代理是各類爬蟲需要換ip的最佳得力助手，有國內近300+城市的ip資源，高匿且延時低，還能免費測試效果，幫助用戶快速順利地完成爬蟲任務。