對于爬蟲來說，當訪問頻率達到目標網站的警告值時，可能會觸發目標網站的反爬行機制。在上一篇文章中介紹了幾種常見的反爬策略，屏蔽訪問者IP是常見的反爬機制之一。

 

 

 

爬蟲的數據幾乎都可以造假，但只有一項不能造假，那就是IP地址。所以很多網站為了防止爬蟲，會制定一系列規則來屏蔽IP，控制每個IP出現的頻率。當IP地址被阻塞時，IP發送的請求將不會得到正確的響應。這個方法簡單粗暴，但是很有效。

 

 

 

所以，換個角度，我們有理由認為，突破反爬蟲機制的重要措施之一就是擁有一個龐大而穩定的IP群體——所謂的代理IP池，它將在爬蟲工作中發揮重要作用。

 

 

 

在收集網絡數據時，爬蟲需要用代理IP覆蓋自己才能順利爬行目標數據，爬蟲需要的IP數量往往以萬計。基于對IP的巨大需求，代理該上場了。

 

 

 

所謂代理，就是用戶和網站之間的第三方:

 

用戶首先將請求發送給代理，然后代理將請求發送給服務器。看起來像是代理正在訪問那個網站，服務器會把這次訪問算到代理頭上。

 

 

 

如果同時使用多個代理，單個IP的訪問次數就會下降，從某種意義上來說，就突破了次數的限制，使得單個IP有可能逃脫，從而促使爬蟲更高效地工作。

 

 

 

代理IP也是分類的。最常用的代理IP類型有SOCKS代理、HTTPS代理、HTTP代理等。它們可以分為長期和短期。在行業法規允許的范圍內，長期代理IP可以做一些抓取任務，比如搜索信息數據，方便了解行業數據。短期的可以完成注冊、頁面瀏覽等一些任務。