大多數人認為python爬蟲必須使用代理ip，否則可以爬網數據。事實上，并非如此。如果沒有太多數據需要抓取，使用代理ip可以輕松一次性抓取網站上千篇文章。

爬蟲本質上只是一個瀏覽網站的用戶，但是用戶夸大了，瀏覽速度比普通人快，給服務器帶來了很大的壓力。服務器只能使用各種反爬蟲策略來限制或禁止爬蟲程序，這就是使用代理ip的原因。

如果爬蟲程序的瀏覽速度和次數沒有超過服務器反爬行機制允許的范圍，則不需要代理IP。如果要爬取的數據量太大，必須由多線程高并發的多臺機器爬取，將使用代理ip來幫助完成任務。

很多朋友說用ADSL撥號服務器也可以處理ip被屏蔽，沒有代理ip的情況。ADSL撥號一般是斷開重撥后獲得一個新的ip，然后繼續爬行。但是，有一個問題。撥號和重撥必須間隔進行，所以正在運行的程序會被中斷。所以必須準備幾臺ADSL服務器作為代理，然后爬蟲會在另一臺服務器上連續運行。當然，搶大數據太麻煩了。大型爬行動物的一般任務是選擇精靈ip代理來解決反攀爬策略的局限性。