cn.edu.hfut.dmic.webcollector.fetcher

接口 SegmentWriter

所有已知实现类:

FSSegmentWriter, RedisSegmentWriter

public interface SegmentWriter

爬取过程中，写入爬取历史、网页Content、解析信息的Writer

作者:

hu

方法概要

方法

限定符和类型	方法和说明
void	close() 关闭Writer
void	wrtieContent(Content content) 写入一条Content对象(存储网页/文件内容的对象)
void	wrtieFetch(CrawlDatum fetch) 写入一条爬取历史记录
void	wrtieParse(ParseResult parseresult) 写入一条网页解析结果

方法详细资料

wrtieFetch

void wrtieFetch(CrawlDatum fetch)
                throws Exception

写入一条爬取历史记录

参数:

fetch - 爬取历史记录（爬取任务)

抛出:

IOException

Exception

wrtieContent

void wrtieContent(Content content)
                  throws Exception

写入一条Content对象(存储网页/文件内容的对象)

参数:

content -

抛出:

IOException

Exception

wrtieParse

void wrtieParse(ParseResult parseresult)
                throws Exception

写入一条网页解析结果

参数:

parseresult - 网页解析结果

抛出:

IOException

Exception

close

void close()
           throws Exception

关闭Writer

抛出:

IOException

Exception