當(dāng)我們使用爬蟲抓取數(shù)據(jù)時(shí)，很容易被網(wǎng)站的反爬蟲機(jī)制禁用。為了更好的避免這種情況，HTTP代理IP出現(xiàn)了，那么為什么有時(shí)候用代理IP還是會(huì)被屏蔽呢？

 

1.代理IP是不隱藏的，沒有辦法隱藏你原來的IP地址。

 

2.程序偽裝不到位，被目標(biāo)網(wǎng)站識(shí)別為機(jī)器，所以駁回你的請(qǐng)求。

 

3.如果cookie、UserAgent等。未被清除，當(dāng)IP達(dá)到目標(biāo)網(wǎng)站設(shè)置的閾值時(shí)將被阻止。

 

4.如果訪問目標(biāo)網(wǎng)站的頻率過快，該IP將被屏蔽。