❤️爬虫背景 & 简介❤️

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性。

为了解决这些问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。与通用爬虫(general purpose web crawler)不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

❤️爬虫用途:❤️抓取知乎数据分析知乎用户并做出图谱。

抓取网页云音乐评论做自然语言处理得到人们对不同歌手的评价。

抓取豆瓣电影按评分挑出自己喜欢看

周边租房的房价

网站各种优惠?

知乎上点赞数很高的文章..

快手粉丝数量..

某站的所有图片,电影!!

价值最高的还是用来做商业分析，这也催生了爬虫工程师这个职业。

研究SEO. 就得知道爬虫.

收集大量的代理服务器!!来获得不同的IP 让后刷票什么的!!!!

抓twitter 上亿条的的说说..储存到数据库.更深入的了解数据库

获取某网站所有用户的头像.更具头像被点击的次数.找出最受欢迎的头像

抓取 facebook 上的 sleep关键词. 来判断出大家的睡眠时间..很多人喜欢在睡前会说一声我睡了。

喜欢看美女图片? 写个爬虫把某网站所有的图片都下下来 慢慢看.

喜欢看电影? 写个爬虫把某网站所有种子都下下来,慢慢下载.

喜欢某个妹子? 写个爬虫把她所有说说都下下来研究

喜欢秒杀超值物品 写个爬虫.... 还是脚本 ??

比价网站网站 靠爬虫实现的.

电影推荐网站 靠爬虫实现的.

❤️爬虫原理:❤️抓取网页源代码: 源代码中的图片,视频都是链接! 源代码是全文本的.不大

分析网页源代码: 你要下载图片/视频/网址.就分析出源代码里面的图片/视频/网址的链接.

储存信息: 分析出来后 就要储存起来了.文本/视频/图片....

抓取下一个网页. 循环就能获取到很多很多信息了.

IT作为今天最火热的行业之一，其中又衍生机器学习，深度学习，数据挖掘，等等。

这些学科能够发展，离不开数据总量快速的增长，以及现在电脑对信息的快速处理。

显然，爬虫已经逐渐成为了今天的程序员或者计算机爱好者的被动技能。

作为个人学习，没有必要去做一个完善的自动化爬虫， 只需能够抓取我们想要的信息就可以了。