类 | 说明 |
---|---|
AvroModel | |
Content | |
CrawlDatum |
存储爬取任务的类,是WebCollector的核心类,记录了一个url的爬取信息,同样也
可以作为一个爬取任务
|
Link |
保存网页链接的类
|
Page |
Page是爬取过程中,内存中保存网页爬取信息的一个容器,与CrawlDatum不同,Page只在内存中存
放,用于保存一些网页信息,方便用户进行自定义网页解析之类的操作。
|
Copyright © 2014. All Rights Reserved.