互联网大数据信息时代，我们需要获取大量的信息数据来进行分析，大量的信息数据从何而来，那个时候我们就需要用到网络爬虫去获取到我们需要的数据，而数据源可以根据我们设定的目的进行采集，这样可以去除很多无关的数据，具有目的性的采集。

   在进行大数据分析或者进行数据挖掘的时候，数据源可以从某些提供数据统计的网站获得，也可以从某些文献或内部资料中获得，但是这些获得数据的一种方式。

   但网络爬虫进行时并不是想象的那么顺利，才采集途中会遇到很多问题，其中最大的问题就是IP遭受限制，单个IP高频率访问时就会目标网站所限制。所以这是爬虫必须代理IP来支撑来完成工作。

   爬虫获取代理IP的方式有很多种，购买VPS自建代理IP池，自行生成提取链接从自建的IP池中获取代理IP，这种通常要投入很大的成本和时间。ADSL拨号；ADSL拨号也就是我们常说的拨号VPS，拨一次号可以换一次IP。但是对于爬虫工作者来说真的是非常麻烦，会降低工作效率的。

   还有一种获取方式就是付费代理IP，付费代理IP不仅降低了成本和运维时间，还有针对性的技术改进，通过api提取链接直接获取IP，IP的有效率也非常高，如开心代理IP有效期高达95-100%的有效率。是网络爬虫的不二之选。

推荐阅读上一篇【高质量优质代理IP主要看哪几点？】