| 程序包 | 说明 |
|---|---|
| cn.edu.hfut.dmic.webcollector.crawler | |
| cn.edu.hfut.dmic.webcollector.fetcher | |
| cn.edu.hfut.dmic.webcollector.generator | |
| cn.edu.hfut.dmic.webcollector.plugin.redis |
| 限定符和类型 | 方法和说明 |
|---|---|
DbUpdater |
BreadthCrawler.createDbUpdater() |
| 限定符和类型 | 字段和说明 |
|---|---|
DbUpdater |
Fetcher.dbUpdater |
| 限定符和类型 | 方法和说明 |
|---|---|
DbUpdater |
Fetcher.getDbUpdater()
返回CrawlDB更新器
|
| 限定符和类型 | 方法和说明 |
|---|---|
void |
Fetcher.setDbUpdater(DbUpdater dbUpdater)
设置CrawlDB更新器
|
| 限定符和类型 | 类和说明 |
|---|---|
class |
FSDbUpdater |
| 限定符和类型 | 方法和说明 |
|---|---|
DbUpdater |
DbUpdaterFactory.createDbUpdater() |
| 限定符和类型 | 类和说明 |
|---|---|
class |
RedisDbUpdater |
class |
RedisMergeFSDbupdater
使用redis来进行海量URL去重的插件
如果使用该插件,请安装redis数据库并开启
|
| 限定符和类型 | 方法和说明 |
|---|---|
DbUpdater |
RedisCrawler.createDbUpdater() |
DbUpdater |
RedisMergeBreadthCrawler.createDbUpdater() |
Copyright © 2014. All Rights Reserved.