| 接口 | 说明 |
|---|---|
| DbUpdater |
用于更新爬取任务列表的类
|
| DbUpdaterFactory | |
| Generator |
抓取任务生成器
|
| Injector |
广度遍历的种子注入器
|
| 类 | 说明 |
|---|---|
| BasicInjector | |
| CollectionGenerator |
爬取指定集合中的url列表的爬取任务生成器
|
| DbReader<T> |
读Avro文件的Reader
|
| DbWriter<T> |
写Avro文件的Writer
|
| FSDbUpdater | |
| FSGenerator |
广度遍历使用的爬取任务生成器
|
| FSInjector |
基于文件系统的广度遍历的种子注入器
|
Copyright © 2014. All Rights Reserved.