爬虫puppeteer 安装及入门
headless-chrome貌似在爬虫方面成了主流,它击败了phantomJS而成功登顶。关于js数据渲染后的数据,我用个selenium, 用过scrapy-splash. 但是还没用过这个,很想尝试一下前端是怎么做的,虽然有pyppeteer的版本,但是我还是决定用puppeteer来做(js版本)centos 部署直接参考github puppeteer 即可,我的方式是# 创建一个...
·
headless-chrome貌似在爬虫方面成了主流,它击败了phantomJS而成功登顶。关于js数据渲染后的数据,我用个selenium, 用过scrapy-splash. 但是还没用过这个,很想尝试一下前端是怎么做的,虽然有pyppeteer的版本,但是我还是决定用puppeteer来做(js版本)
centos 部署
直接参考github puppeteer 即可,我的方式是
# 创建一个项目,切进去,然后执行
npm init # 这里要确保安装了node.
npm install puppeteer
# 之后可能还得安装中文的字体。参考下面中文文字变成方框的解决方法
也可以部分参考: https://juejin.im/post/5bbc96785188255c72286403
这里记录一下出现的问题 中文文字变成方框的问题。
https://fbd.intelleeegooo.cc/install-chinese-font-on-centos/
puppeteer 中文文档
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
已为社区贡献6条内容
所有评论(0)