大数据在当今是绝对的热门话题，而大数据的基础就是数据源来做大数据分析，那么数据从哪里获取的，通过网络爬虫采集获取到的。

但是在我们使用爬虫时，由于需要频繁访问目标服务器，导致IP很快被禁用了，无法使用，所以需要大量的代理IP来帮助完成任务。

那么爬虫需要大量的代理IP，为什么不自己搭建IP池，而是在供应商网站购买使用？建立代理IP池需要很大经济成本和运维，IP池资源还不够丰富，根本满足不了爬虫的需求，所以通常代理IP是直接购买收费现成的代理IP使用。

很多用户都尝试过，通过自己搭建代理IP池来使用，这种有很大的好处，就是IP的质量可以通过自己的需求量身定制，质量肯定比购买的质量要好的多，但是利弊之下，还是选择放弃的这种方式选择后者使用。

推荐阅读上一篇【设置代理IP后如何查询？】