七月在线爬虫班学习笔记（八）——分布式爬虫框架设计

第八课主要内容：分布式爬虫框架简介（控制模式与自由模式）消息队列 Redis介绍操作及队列应用 Scrapy-Redis介绍及项目实战这节课主要是代码的讲解，并且讲解了scrapy-redis部分的源码；最后给出了一个爬虫代码实例。关于scrapy-redis的代码大家自行下载学习即可。操作