scrapy，scrapy-redis显示：什么都没爬取到：Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)

解决方法一、问题：刚开始爬取有，但是后面都是Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)。解决：可能是里面没有设置 yield scrapy.Request（dont_filter=True），dont_filter=True，默认的去重将一些网页去除了，导致没有数据。解决方法二问题：分布式爬虫一直都是...

清风怜明月

7351人浏览 · 2019-12-03 22:57:04

清风怜明月 · 2019-12-03 22:57:04 发布

解决方法一、

问题：刚开始爬取有，但是后面都是Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)。
解决：可能是里面没有设置 yield scrapy.Request（dont_filter=True），dont_filter=True，默认的去重将一些网页去除了，导致没有数据。

解决方法二

问题：分布式爬虫一直都是显示Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)。
解决：你使用的肯定是window的redis数据库，而且lpush时，使用的是redis。windos那个文件，这样插入的redis_key，在你爬虫服务器上是查不到这个值的。
使用 redis-cli -h redis的ip -p 6379 这样链接数据，再lpush值进去才行。