什么是网络爬虫？用简单一点的话来形容，就是实现浏览器的功能。通过指定url，将获取到用户所需的信息数据返回到客户端，而不需要一步步人工去操纵浏览器获取。有效的缩短了收集时间，提高了工作效率。

  然而爬虫进度并不是想象中的这么简单，当用写好的程序代码开始工作时，正兴奋的想冲杯咖啡，没想到还没有开始喝，采集就停止工作了，出现HTTP Error 403: Forbidden错误。 因为在短时间内直接使用Get获取大量数据，会被服务器认为在对它进行攻击，所以拒绝我们的请求，自动把电脑IP封了。

  如何处理反爬机制？解决这个问题有三种方法。

  第一：伪装请求数据包，伪装成浏览器请求模式，披件外套。 那么又会出现新的问题，服务器有时是根据访问IP的请求频率来判断的，即使伪装成不同浏览器。但是访问的ip地址没有变化，最后可能还是会被禁止和限制。

  第二: 由于第一种方法同ip请求频繁导致被封或者限制，那么好了，我直接降低请求频率。设置访问间隔时间，从而达到降低反问频率，但是效率太低了，一天可以完成的工作可能要一周才能完成，工作效率太低。

  第三：使用代理ip，用不同的IP进行访问，动态切换ip，每次使用不同的ip地址访问，是终端服务器无法辨别是真实用户还是非正常用户，既解决了同ip频繁访问问题，又提高了工作效率，从而代理ip的出现为爬虫解决了反爬虫机制问题。

推荐阅读上一篇【批量注册需要使用什么代理ip？】