cn.edu.hfut.dmic.webcollector.fetcher

类 Fetcher

java.lang.Object

cn.edu.hfut.dmic.webcollector.fetcher.Fetcher

public class Fetcher
extends Object

抓取器

作者:

hu

嵌套类概要

嵌套类

限定符和类型	类和说明
static class	Fetcher.FetchItem
static class	Fetcher.FetchQueue
static class	Fetcher.QueueFeeder

字段概要

字段

限定符和类型	字段和说明
DbUpdater	dbUpdater
static int	FETCH_FAILED
static int	FETCH_SUCCESS
Handler	handler
ParserFactory	parserFactory
RequestFactory	requestFactory

构造器概要

构造器

构造器和说明
Fetcher()

方法概要

方法

限定符和类型	方法和说明
void	fetchAll(Generator generator) 抓取当前所有任务，会阻塞到爬取完成
DbUpdater	getDbUpdater() 返回CrawlDB更新器
Handler	getHandler() 返回处理抓取消息的Handler
boolean	getNeedUpdateDb() 返回是否存储爬取信息
ParserFactory	getParserFactory() 返回解析器生成器
RequestFactory	getRequestFactory() 返回请求生成器
int	getRetry() 返回http请求失败后重试的次数
int	getThreads() 返回爬虫的线程数
boolean	isIsContentStored() 返回是否存储网页/文件的内容
boolean	isParsing() 返回是否解析网页（解析链接、文本）
void	setDbUpdater(DbUpdater dbUpdater) 设置CrawlDB更新器
void	setHandler(Handler handler) 设置处理抓取消息的Handler
void	setIsContentStored(boolean isContentStored) 设置是否存储网页／文件的内容
void	setNeedUpdateDb(boolean needUpdateDb) 设置是否存储爬取信息
void	setParserFactory(ParserFactory parserFactory) 设置解析器生成器
void	setParsing(boolean parsing) 设置是否解析网页（解析链接、文本）
void	setRequestFactory(RequestFactory requestFactory) 设置请求生成器
void	setRetry(int retry) 设置http请求失败后重试的次数
void	setThreads(int threads) 设置爬虫的线程数
void	stop() 停止爬取

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

字段详细资料

dbUpdater

public DbUpdater dbUpdater

handler

public Handler handler

requestFactory

public RequestFactory requestFactory

parserFactory

public ParserFactory parserFactory

FETCH_SUCCESS

public static final int FETCH_SUCCESS

另请参阅:

常量字段值

FETCH_FAILED

public static final int FETCH_FAILED

另请参阅:

常量字段值

构造器详细资料

Fetcher

public Fetcher()

方法详细资料

fetchAll

public void fetchAll(Generator generator)
              throws Exception

抓取当前所有任务，会阻塞到爬取完成

参数:

generator - 给抓取提供任务的Generator(抓取任务生成器)

抛出:

IOException

Exception

stop

public void stop()

停止爬取

getThreads

public int getThreads()

返回爬虫的线程数

返回:

爬虫的线程数

setThreads

public void setThreads(int threads)

设置爬虫的线程数

参数:

threads - 爬虫的线程数

getHandler

public Handler getHandler()

返回处理抓取消息的Handler

返回:

处理抓取消息的Handler

setHandler

public void setHandler(Handler handler)

设置处理抓取消息的Handler

参数:

handler - 处理抓取消息的Handler

getNeedUpdateDb

public boolean getNeedUpdateDb()

返回是否存储爬取信息

返回:

是否存储爬取信息

setNeedUpdateDb

public void setNeedUpdateDb(boolean needUpdateDb)

设置是否存储爬取信息

参数:

needUpdateDb - 是否存储爬取信息

getRetry

public int getRetry()

返回http请求失败后重试的次数

返回:

http请求失败后重试的次数

setRetry

public void setRetry(int retry)

设置http请求失败后重试的次数

参数:

retry - http请求失败后重试的次数

isIsContentStored

public boolean isIsContentStored()

返回是否存储网页/文件的内容

返回:

是否存储网页/文件的内容

setIsContentStored

public void setIsContentStored(boolean isContentStored)

设置是否存储网页／文件的内容

参数:

isContentStored - 是否存储网页/文件的内容

isParsing

public boolean isParsing()

返回是否解析网页（解析链接、文本）

返回:

是否解析网页（解析链接、文本）

setParsing

public void setParsing(boolean parsing)

设置是否解析网页（解析链接、文本）

参数:

parsing - 是否解析网页（解析链接、文本）

getDbUpdater

public DbUpdater getDbUpdater()

返回CrawlDB更新器

返回:

CrawlDB更新器

setDbUpdater

public void setDbUpdater(DbUpdater dbUpdater)

设置CrawlDB更新器

参数:

dbUpdater - CrawlDB更新器

getRequestFactory

public RequestFactory getRequestFactory()

返回请求生成器

返回:

请求生成器

setRequestFactory

public void setRequestFactory(RequestFactory requestFactory)

设置请求生成器

参数:

requestFactory - 请求生成器

getParserFactory

public ParserFactory getParserFactory()

返回解析器生成器

返回:

解析器生成器

setParserFactory

public void setParserFactory(ParserFactory parserFactory)

设置解析器生成器

参数:

parserFactory - 解析器生成器