Scrapy报错已解决:ERROR: [Failure instance: Traceback: <class ‘scrapy.pipelines.files.FileException‘>
本文主要记录自己解决如下错误的解决思路:ERROR: [Failure instance: Traceback:
·
1、未设置IMAGES_STORE
概述:未设置setting.py文件中的IMAGES_STORE属性导致图片不知道保存到什么位置可能会报标题错误,设置演示如下:
ITEM_PIPELINES = {
# 引入imagePipeline,设置权重为300
'scrapy.pipelines.images.ImagesPipeline':300,
}
# 设置保存路径
IMAGES_STORE = "D:\scrapyProject\imgs"
2、allowed_domains没有添加对应的域名
概述:爬虫文件中的allowed_domains属性用于指定 Spider 允许爬取数据的域名范围。需要将所有可能爬取到的域名都放到这个列表中,以下是获取某瓣图片及其影片名称时所用到的域名:
allowed_domains = ["movie.douban.com","douban.com","img3.doubanio.com"]
注意:这里是新手犯错的重灾区,并不是只用关注目标网站的域名,还要关注所有资源可能会用到的域名。
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
已为社区贡献6条内容
所有评论(0)