程序包 | 说明 |
---|---|
cn.edu.hfut.dmic.webcollector.crawler | |
cn.edu.hfut.dmic.webcollector.output | |
cn.edu.hfut.dmic.webcollector.parser | |
cn.edu.hfut.dmic.webcollector.plugin.redis |
限定符和类型 | 方法和说明 |
---|---|
void |
Crawler.failed(Page page)
爬取失败时执行的方法
|
void |
Crawler.visit(Page page)
爬取成功时执行的方法
|
void |
BreadthCrawler.visit(Page page) |
限定符和类型 | 方法和说明 |
---|---|
void |
FileSystemOutput.output(Page page) |
限定符和类型 | 方法和说明 |
---|---|
static Page |
ParseUtils.parseDocument(Page page) |
限定符和类型 | 方法和说明 |
---|---|
static ArrayList<Link> |
LinkUtils.getAll(Page page) |
static ArrayList<Link> |
LinkUtils.getLinks(Page page) |
ParseResult |
HtmlParser.getParse(Page page)
对一个页面进行解析,获取解析结果
|
ParseResult |
Parser.getParse(Page page)
对指定页面进行解析,返回解析结果
|
static Page |
ParseUtils.parseDocument(Page page) |
限定符和类型 | 方法和说明 |
---|---|
void |
RedisMergeDemo.visit(Page page) |
Copyright © 2014. All Rights Reserved.