作為一個數據采集者，我們都知道，如果一個網站被頻繁訪問，就會被屏蔽IP。怎么才能解決這個問題？不可能一直頻繁更換設備，不僅數據無法同步，而且這些設備的成本也是不可預知的，這時候就需要代理IP了，python爬蟲如何使用代理IP呢？
 

 

1.高質量api代理:通過API連接獲取代理信息，返回ip和端口。

2.動態轉發隧道代理:連接固定代理服務器，動態轉發請求，無需切換IP。連接到代理服務器后，每個請求都是一個隨機的IP，按照每秒請求的次數來收費。

 

將IP代理連接直接復制到后臺的程序中。程序配置完成后，直接啟動程序獲取代理ip，然后將代理ip拼寫到請求參數中收集數據。