网络爬虫对于从事大数据的工作者来说是再熟悉不过了，大家都知道爬虫采集获取大量有价值的信息必须使用代理IP来支撑，所以网络爬虫在工作前就会储存大量的IP来备用。

   如何保证代理IP在使用前是一个有效的代理IP？在调用api提取的IP不能确保每个IP都是有效的。所以需要在使用前进行验证。

     测试代理IP有效性的方法有很多种，我们就随便拿一个种来仅供参考。就是直接使用代理IP去访问真正的服务器端，服务器端进行验证是再合适不过了，验证后好的留下，无法使用的就去除，这样就能保证每个IP在使用前都是有效的。

     选择一家优质的代理IP网站也是非常关键的，如开心代理IP网站，有效率就可达到95%以上甚至百分之百的有效率，因为在IP提取前就已经对每个IP都验证过的，所以在提取出来的IP都是有效的。

推荐阅读上一篇【HTTP代理IP请求时405报错如何解决？】