程序包 | 说明 |
---|---|
cn.edu.hfut.dmic.webcollector.crawler | |
cn.edu.hfut.dmic.webcollector.fetcher | |
cn.edu.hfut.dmic.webcollector.plugin.redis |
限定符和类型 | 类和说明 |
---|---|
class |
BreadthCrawler
基于文件系统的广度遍历爬虫
|
class |
CommonCrawler
一种常用的广度遍历爬虫
|
class |
Crawler
广度遍历爬虫的基类
|
限定符和类型 | 字段和说明 |
---|---|
RequestFactory |
Fetcher.requestFactory |
限定符和类型 | 方法和说明 |
---|---|
RequestFactory |
Fetcher.getRequestFactory()
返回请求生成器
|
限定符和类型 | 方法和说明 |
---|---|
void |
Fetcher.setRequestFactory(RequestFactory requestFactory)
设置请求生成器
|
限定符和类型 | 类和说明 |
---|---|
class |
RedisCrawler
基于Redis的广度遍历器
|
class |
RedisMergeBreadthCrawler |
class |
RedisMergeDemo |
Copyright © 2014. All Rights Reserved.