爬虫相关

性能相关 在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 1 import requests 2 3 def fetch_async(url): 4 response = requests.get(url) 5 return resp
posted @ 2017-02-17 18:12  善行者无疆  阅读(186)  评论(0)  编辑  收藏  举报