如何获取大量的公开数据信息，这是我们互联网在竞争激烈的环境中的生存之道，不管在什么环境下都要学习和了解用户市场，客户需求，竞争对手，如何能获取到大量的数据信息，那么就需要用到网络爬虫。

  在我们从事python爬虫的技术者在爬虫时，经常会遇到要爬取的终端网站采取了反爬虫机制，在高强度，高效率的爬取网站的网页信息时，会给终端服务器带来巨大的压力，所以当反复使用一个ip时，很快就会被终端服务器识破，导致ip被封，无法再次访问爬取了。如何解决这个问题？那就是使用代理ip。

  代理ip就是突破返爬虫机制瓶颈的唯一出口，代理ip具有海量的ip储备备用，可以隐藏自己的真是ip，用百万代理ip代理本地ip去完成采集工作。

 如何获取到代理ip?

  获取免费代理ip对于一个从事爬虫技术者来说并不难，只要写个程序代码在网上或一些专业代理ip服务平台的开放代理就可以获取大量的免费代理ip，从代理ip网站爬取IP地址及端口号并储存，然后通过访问指定的网站验证ip是否能用,格式化ip地址，在requests中使用代理ip爬取网站。但是这种ip缺点也很多，如：有效率低，质量差，安全性差，还不是高匿代理ip。存在者很大的风险。

  开心代理建议爬虫代理ip还是需要使用高质量优质的短效代理ip，虽然是收费的，但是对于ip质量是非常高的，恰好弥补了免费代理中的缺陷，大大提高了数据采集的效率和进度。

推荐阅读上一篇【网络爬虫软件运行失败时，如何检查代理ip是否有效？】