很大一部分人認為python爬蟲必須使用代理ip，否則將無法爬取數據。 但實際操作不一定。 如果需要爬取的信息量不是很大，可以輕松實現一次爬取一個網站上千篇文章，無需使用代理ip。  

 

爬蟲最基本的本質其實就是一個瀏覽網站的用戶，但是這個用戶有點特殊，瀏覽速度比普通用戶還快，給服務器帶來了很大的壓力。 服務器使用了多種反爬蟲策略來限制或禁止爬蟲程序，所以這也是為什么很多人認為Python爬蟲一定要使用改IP軟件的原因。  

 

如果爬蟲程序的瀏覽速度和次數沒有超出服務器反爬蟲機制的范圍，可以不使用改IP軟件進行IP切換； 如果要爬取的數據量很大，需要多臺機器、多線程、高并發爬取，那么就需要換ip軟件切換ip來幫助完成工作。  

 

所以一般任務量比較大的爬蟲任務都是選擇改ip軟件來解決反爬策略的限制，保證工作可以繼續進行。