大多數(shù)人認(rèn)為python爬蟲(chóng)必須使用到代理ip軟件，否則無(wú)法爬取數(shù)據(jù)。 事實(shí)上，情況并非如此。


如果要爬取的數(shù)據(jù)不多，可以一次爬取一個(gè)網(wǎng)站上千篇文章，而且不用代理ip也能輕松實(shí)現(xiàn)。本質(zhì)上，爬蟲(chóng)也是用來(lái)瀏覽網(wǎng)站的。 只是一個(gè)用戶(hù)，但是用戶(hù)被夸大了，瀏覽速度超乎常人，給服務(wù)器造成很大壓力。 服務(wù)器只能使用多種反爬蟲(chóng)策略來(lái)限制或禁止爬蟲(chóng)，這也是為什么使用代理ip的原因。  

 

如果爬蟲(chóng)程序?yàn)g覽速度和次數(shù)沒(méi)有超過(guò)服務(wù)器反爬蟲(chóng)機(jī)制允許范圍，則不需要使用代理ip； 如果要爬取的數(shù)據(jù)量很大，需要多臺(tái)機(jī)器、多線(xiàn)程、高并發(fā)的爬取，就不得不使用代理ip來(lái)幫助完成任務(wù)。  

 

很多朋友說(shuō)ADSL撥號(hào)服務(wù)器也可以處理ip被封的情況，不用代理ip。  ADSL撥號(hào)一般是斷線(xiàn)重?fù)芎蟮玫揭粋€(gè)新的ip，然后繼續(xù)爬行。 但有一個(gè)問(wèn)題。 撥號(hào)重?fù)芤欢ㄒ^(guò)一段時(shí)間后再做，這樣運(yùn)行的程序就會(huì)中斷，所以要準(zhǔn)備好幾臺(tái)ADSL服務(wù)器作為代理，然后爬蟲(chóng)在另一臺(tái)不斷聯(lián)網(wǎng)的服務(wù)器上運(yùn)行。 當(dāng)然，情況也是如此。 大數(shù)據(jù)爬取用起來(lái)太麻煩。 一般大型爬蟲(chóng)任務(wù)都是選擇精靈代理ip來(lái)解決反爬策略的局限性。