【MOOC】Scrapy库

一、Scrapy爬虫框架 1、‘5+2’结构：5个模块+2个中间键 5个模块 1) Spider【用户配置】： 框架入口，获取初始爬取请求 提供要爬取的url链接，同时解析页面上的内容 解析Downloader返回的响应(Response) 产生爬取项(Scraped Item) 产生额外的爬取请求
posted @ 2020-02-25 17:05  kuluma  阅读(335)  评论(0)  编辑  收藏  举报