【故障公告】被放出的 Bing 爬虫，又被爬宕机的园子

这些巨头爬虫们现在怎么了？记忆中2022年之前的十几年，园子没有遇到过被巨头爬虫们爬宕机的情况，巨头们都懂得爱护，都懂得控制节奏，都懂得在爬网时控制并发连接数以免给目标网站造成过大压力。从去年开始，巨头爬虫们开始变了。首先从中文巨头爬虫中的佼佼者——百度蜘蛛开始
posted @ 2023-04-26 08:29  博客园团队  阅读(8007)  评论(114)  编辑  收藏  举报