很多人認為網絡爬蟲必須加一個代理IP，沒有代理IP是沒有出路的。有人認為代理IP是沒有必要的。為什么呢。不能直接使用收藏工具嗎？網絡爬蟲必須使用代理IP嗎？

用親身經歷和感受證明自己的觀點。我認為，爬蟲訂單本質上只是一個瀏覽網頁的用戶，一個不遵守規則的唯一用戶，服務器通常不歡迎這樣的唯一用戶發現并通過各種手段禁止他們。最常見的是判斷你的訪問頻率，因為普通人訪問網頁的頻率并不是很快，如果你發現某個IP訪問速度過快，就會被禁止訪問。如果用10個代理IP在短時間內瀏覽10次，就不容易被認為速度太快而被屏蔽。當業務量巨大時，如果不需要更換IP軟件，目標服務器會認為瀏覽速度過快，導致IP被屏蔽。

在業務量不是很大的情況下，可以緩慢爬行，工作頻率不是很快，目標服務器可以承受，正常運行也不會受到影響，這樣IP就不會被封，日常業務不需要代理IP也可以完成。

代理IP軟件實際上是用來幫助爬蟲從其他網站收集一些文章，然后選擇適用的并處理好。網絡爬蟲每天抓取幾十萬個網頁，有時候任務多的時候，一天要花掉100萬以上，爬行IP被屏蔽了，沒有代理IP是不可能完成的。如果沒有代理IP，爬蟲就不能到達任何地方，所以爬蟲必須使用代理IP。