有时候我们在解析网页源代码时需要的不是整个页面的源代码,而是其中的文本内容,这时可以使用htmlparser这个开源工具来进行相应的操作。下面是一个例子,这个例子比较简单,主要是理解这个工具中的一些类的作用:
[javascript]
public static String html2Text() {
        ConnectionManager manager;
        Lexer lexer;
        Node node;
        manager = Page.getConnectionManager();
        StringBuilder textSB = new StringBuilder();
        StringBuilder tagSB = new StringBuilder();
        StringBuilder remarkSB = new StringBuilder();
        //StringBuilder abstractSB = new StringBuilder();
        try {
            lexer = new Lexer(manager.openConnection("http://www.baidu.com"));
            while ((node = lexer.nextNode()) != null) {
                if (node instanceof TextNode) {
                    textSB.append(node.toHtml());
                } else if (node instanceof TagNode) {
                    tagSB.append(node.toHtml());
                } else if (node instanceof RemarkNode) {
                    remarkSB.append(node.toHtml());
                } else if (node instanceof AbstractNode) {
                    //abstractSB.append(node.toHtml());
                }
            }
            return textSB.toString() + "\r\n" + "--------" + tagSB.toString()
                    + "\r\n" + "--------" + remarkSB.toString() + "\r\n"
                    + "-------" 
                    //+ abstractSB.toString()
                    ;
        } catch (Exception e) {
            throw new RuntimeException();
        }
    }    www.2cto.com
下面来分析一下这个工具中的一些主要的类:
ConnctionManger是进行连接网页的一个类,Lexer可以通过构造函数传递一个URLConnection,这时就可以获得网页的内容, Lexer就像是一个包装器,将网页的内容包装起来,然后可以通过Lexer中的方法进行网页的内容获取。Lexer的nextNode就是开始获取网页的节点了,返回的Node类被AbstractNode所实现,并且TextNode,TagNode,RemarkNode是AbstractNode的子类。 TextNode是网页中的所有文本节点,TagNode是网页中的所有标签节点,RemarkNode是网页中的所有注释节点AbstractNode中提供了访问网页的开始位置和结束位置,子节点的父节点和子节点的list等方法。所以在TextNode,TagNode,RemarkNode中也可以使用这些方法来获取相应的信息。
Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐