爬虫技术天天在进步，反爬虫技术也不甘落后，谁落后谁就要挨打。很多时候，我们在网站的采集过程中，爬着爬着就发现，才爬一会就被限制了，然后只好升级反反爬策略，然而还是非常容易被识破。

那么问题出在哪里呢？哪怕针对各种反爬策略都作出了相对应的反反爬策略，哪怕各方面已经做的够好了，但问题依旧。那么问题可能出现在代理IP的身上。也许你用的不是高匿代理IP，也许你用的不是一手私密代理IP。

我们知道，当使用普匿代理或者透明代理访问网站时，会暴露给目标网站知道你在使用代理IP访问，那么相对应的就会受到限制；我们知道，当一个IP用来访问同一个网站达到一个阈值时，就会受到限制。

如果你还在使用普通代理和开放代理，趁早放弃吧，重新购买高质量代理IP才是王道。