程序包 | 说明 |
---|---|
cn.edu.hfut.dmic.webcollector.crawler | |
cn.edu.hfut.dmic.webcollector.fetcher | |
cn.edu.hfut.dmic.webcollector.generator | |
cn.edu.hfut.dmic.webcollector.plugin.redis |
限定符和类型 | 方法和说明 |
---|---|
DbUpdater |
BreadthCrawler.createDbUpdater() |
限定符和类型 | 字段和说明 |
---|---|
DbUpdater |
Fetcher.dbUpdater |
限定符和类型 | 方法和说明 |
---|---|
DbUpdater |
Fetcher.getDbUpdater()
返回CrawlDB更新器
|
限定符和类型 | 方法和说明 |
---|---|
void |
Fetcher.setDbUpdater(DbUpdater dbUpdater)
设置CrawlDB更新器
|
限定符和类型 | 类和说明 |
---|---|
class |
FSDbUpdater |
限定符和类型 | 方法和说明 |
---|---|
DbUpdater |
DbUpdaterFactory.createDbUpdater() |
限定符和类型 | 类和说明 |
---|---|
class |
RedisDbUpdater |
class |
RedisMergeFSDbupdater
使用redis来进行海量URL去重的插件
如果使用该插件,请安装redis数据库并开启
|
限定符和类型 | 方法和说明 |
---|---|
DbUpdater |
RedisCrawler.createDbUpdater() |
DbUpdater |
RedisMergeBreadthCrawler.createDbUpdater() |
Copyright © 2014. All Rights Reserved.