摘要：
一、mAP定义及相关概念 mAP: mean Average Precision, 即各类别AP的平均值 AP: PR曲线下面积，面积越大a56爆大奖在线娱乐性能越好 PR曲线: Precision-Recall曲线 Precision: TP / (TP + FP) Recall: TP / (TP + FN) 阅读全文
摘要：
1. 方法叙述： 在获得产品url之后，向url发送请求。然后解析response之后，匹配html中的图片url，向图片url发送请求并下载保存。 1）所有img按照web id新建文件夹。a56爆大奖在线娱乐页面有多个img 的url,因此需要考虑下载的具体是哪一张图片。 2）所有img的url，使用xpath 阅读全文
摘要：
一、数据库设计如图： mysql> show tables; + + | Tables_in_macy | + + | rank1_cate_urls | | rank2_cate_urls | | rank3_cate_urls | | rank4_prod_specific_info | | r 阅读全文
摘要：
1. 背景叙述； 因为本项目的目的是：爬取所有产品的价格、图片、标题、评论信息。 1） 打开macy网页面：macy网，一共要经过四层url链接能够到达具体产品信息页面。如图所示。 图1. Macy首页面 图2. Women下分类页面 图3. WomenàTops下分类页面 图4. WomenàTo 阅读全文
摘要：
1. 显示No module found. 尝试：python -m spacy download en_core_web_sm。 显示connect certificate错了。 2. connect certificate 错了。 安装在conda上，使用conda install -c con 阅读全文
摘要：
报错总结： 1. stack overflow。 1) 描述： 在Tops下面的具体分类下，例如tops1, tops2, tops3等， a56爆大奖在线娱乐使用了线程池的方法，开了10个线程去爬取每一个页面中的具体不同tops的url.其中因为会匹配next page.然后，应为next page使用了嵌套函数。 阅读全文
摘要：
思路： 1）在这里，a56爆大奖在线娱乐在考虑review的爬取的时候，考虑了两种方法。 ①. 直接将review爬取并下载为.json文件。（最终选择方法） ②. 爬取review，然后将review中的字典进行匹配，并直接插入数据库里面。 具体执行过程： main函数：main函数分为三个部分。 1）mysql抽 阅读全文
摘要：
1. 交并比：IoU: 1) 概念：如图有两个区域：A和B，IoU就是两个区域的相交面积 / （总面积-相交面积）； 即： IoU = A ∩ B / A υ B； 2）应用： 在目标检测中，a56爆大奖在线娱乐们首先会预测出一系列的候选框，然后使用NMS来去除一堆多余的框。这里的判断标准就是IoU大于某个阈值，一般 阅读全文
摘要：
根据上一篇随笔：目标检测理论（1），a56爆大奖在线娱乐们已经明白了两个概念：IOU（交并比）和NMS（非极大值抑制）。 这里a56爆大奖在线娱乐们继续介绍两个概念： Precision(准确度): 模型预测的所有目标中，预测正确的比例。 Recall(召回率): 所有真实目标中，模型预测正确的目标比例。 在目标检测中，其具体计算方法 阅读全文
摘要：
1. 需求阐述： 1' 假设： 1）假设所有产品的url都已经被爬取了，并保存到了本地mysql库中。 2' 需求： 1）爬取所有产品信息和评论； 2）信息：产品图片、价格、名称、url、WebID(经过分析，发现WebID是每一张产品的primary key) 评论：nickname, revie 阅读全文