Heritrix使用的初步总结（转贴）
Heritrix使用的初步总结（转贴）一、框架介绍公司最近项目要用到全文检索，检索对象是一些网站的网页内容，要使用到网络爬虫工具。目前技术选型对象主要有两个：Heritrix 和 Nutch。二者均为Java开源框架，Heritrix 是 SourceForge上的开源产品，Nutch为Apache的一个子项目，它们...
·
| Heritrix使用的初步总结（转贴） |  | |
|
一、框架介绍
公司最近项目要用到全文检索，检索对象是一些网站的网页内容，要使用到网络爬虫工具。
目前技术选型对象主要有两个：Heritrix 和 Nutch。二者均为Java开源框架，Heritrix 是 SourceForge上的开源产品，Nutch为Apache的一个子项目，它们都称作网络爬虫/蜘蛛（
Web Crawler ），它们实现的原理基本一致：深度遍历网站的资源，将这些资源抓取到本地，使用的方法都是分析网站每一个有效的URI，并提交Http请求，从而获得相应结果，生成本地文件及相应的日志信息等。
下面是二者的介绍，摘自网络：
二、关于Heritrix使用的初步总结
目前对Heritrix 做了初步选型测试，有了一些总结：
1.关于安装：
目前的版本号为1.12.1，官网地址为 http://crawler.archive.org/ 。常规安装，即解压到相关目录，之后配置系统环境变量"HERITRIX_HOME"到该解压目录（Java环境已经配置好）。
2.安装的后续工作：
将 %HERITRIX_HOME%/heritrix-1.12.1.jar 解压到临时目录，拷贝其中的profiles目录到 %HERITRIX_HOME%/conf/目录下，用来解决Heritrix 关于的Profile默认配置的一个Bug。
3.配置管理帐户：
拷贝 %HERITRIX_HOME%/conf/jmxremote.password.template 到 %HERITRIX_HOME%/下，并且重命名为"jmxremote.password"。之后编辑该文件内容关于密码的部分：
monitorRole @PASSWORD@ monitorRole admin
controlRole @PASSWORD@ ==> controlRole admin
修改完毕之后，保存该文件。并且需要将该文件的属性改为“只读”。然后有很重要的一步：在该文件jmxremote.password的属性窗口中查看 “安全”标签，该标签下的第一项“组或用户名称”下要确认该文件的所有权应该只隶属于你当前的系统用户，而不应该是某一个用户组（例如 Administrators），这应该是Heritrix安全机制的一个Bug。否则运行Heritrix的时候会报权限错误，需要你修改 jmxremote.password文件的属性为“只读”，但是其实已经做了该项改动。
4.运行Heritrix：
CMD定位到 %HERITRIX_HOME%/bin，执行 "heritrix --admin=admin:admin" 命令，即可启动 heritrix，有一点需要注意，heritrix默认使用8080端口，要保证系统端口没有冲突。之后便可以访问 http://127.0.0.1:8080/ 使用 heritrix 提供的WUI，即Web管理端。并且使用"admin/admin"登录。
该管理端提供了Heritrix默认提供的所有配置功能，并且可以创建一个Job并且执行该Job抓取网站。
5.一个简单的Job:
Heritrix提供的配置功能非常丰富，但是也很复杂，刚开始的时候很难正确的创建并且执行一个Job去抓取网站，自己阅读了大部分的Heritrix用户文档和多次尝试之后，总结了一个简单的创建执行Job的用例，该用例为抓取 www.baidu.com 下的网页，但子域（如 news.baidu.com）不抓取 ，步骤如下，可供参考：
按照如上步骤应该可以正确的执行一次网站的抓取任务，抓取页面会存放在你的工作目录下的mirror文件夹内。关于Job的创建和执行过程中的各种设置可以在用户手册中查到，都有详细的说明。
| ||
开放原子开发者工作坊旨在鼓励更多人参与开源活动，与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动，如meetup、训练营等，主打技术交流，干货满满，真诚地邀请各位开发者共同参与！
更多推荐
0
0- 0
已为社区贡献7条内容
所有评论(0)