如何实现有效的提高爬虫采集的有效率，网络爬虫技术将是如今大数据时代必不可少的技能，而代理ip成功突破了反爬虫机制，实现了高效率无阻碍的爬虫采集信息数据，然后而Scrapy是python开发爬虫一种非常热门的框架。

  而如果没有代理ip的支撑，是无法实现高效率高并发的在终端服务器获取到大量的信息数据，代理ip攻克了ip防封的难题，有了代理ip的基础上如何再提高爬虫方式，那么我们就需要使用到分布式爬虫方法。

   什么是分布式？

   爬虫需要技术的数据量太多，需要完成的任务太重，使用传统中的一台机器单线程爬取，效率太低，为了有效的提高工作效率，通俗的来说，就是需要找帮手，使用多台机器多个脚本共同协作，分布式爬取数据，最后把所有的机器完成的任务汇总在一起，完成重大的任务。

   python爬虫的技术选型,Scrapy框架实现分布式爬虫的基本原理、以及应用领域和场景。

   分布式爬虫系统也深受技术人员的广泛应用，主要用于大型爬虫项目中是使用，有效的增加爬虫效率的完成任务，这个也是分布式爬虫系统存在的意义和价值。

推荐阅读上一篇【爬虫为什么一定要使用代理ip】