采集大量數據時需要使用代理ip，但用不好時會受到網站反抓取策略的限制，那么我們該怎么辦呢？
 

 

1.爬蟲的工作需要ip。使用免費代理ip可以處理一些ip限制，但是浪費大量時間，不穩定。

2.一般需要反爬，及時限制ip瀏覽的頻率。抓取低的時候，設置時間段阻止標題，盡可能切換不同IP使用。

3.雖然大部分網站都有防爬蟲，但也有部分網站忽略了這方面。我們可以使用精靈ip代理隱藏ip地址，多更換代理ip，在反爬蟲發現我們是爬蟲的時候及時切換ip，可以穩定工作，維護我們本地ip的安全和工作效率。