在这个大数据热门时代，大数据信息基础就是数据源，无论是市场分析还是友商竞争都需要做大数据分析，数据怎么获取？这时就需要使用网络爬虫采集来获取大量的数据信息。

   网络爬虫就是不断的访问目标服务器，数据信息量大，自然就会过于频繁对目标服务器进行访问，在这种高频访问下使目标服务器压力过大，就会对其IP视为恶意攻击，这种情况下就会对这个IP进行封禁处理。

   为此同时也对反爬虫作出了对此，就是使用代理IP来突破目标服务器的限制，但是代理IP并不是万能的，使用了代理IP就一定不会被封，其实并不是这样的，代理IP和本地IP是一样的，只是代理IP量大，可以轮番进行访问。

   友情提示：爬取数据时不能恶意爬取，更不能爬取隐私信息，应该合法使用代理IP，爬取公开合法数据。

推荐阅读上一篇【免费代理IP不能用的主要原因】