cn.edu.hfut.dmic.webcollector.crawler

类 Crawler

java.lang.Object

cn.edu.hfut.dmic.webcollector.crawler.Crawler

所有已实现的接口:

DbUpdaterFactory, RequestFactory, ParserFactory

直接已知子类:

CommonCrawler

public abstract class Crawler
extends Object
implements RequestFactory, ParserFactory, DbUpdaterFactory

广度遍历爬虫的基类

作者:

hu

字段概要

字段

限定符和类型	字段和说明
static int	RUNNING
static int	STOPED

构造器概要

构造器

构造器和说明
Crawler()

方法概要

方法

限定符和类型	方法和说明
void	addRegex(String regex) 添加一个正则过滤规则
void	addSeed(String seed) 添加一个种子url
abstract Fetcher	createFetcher() 生成Fetcher(抓取器)的方法，可以通过Override这个方法来完成自定义Fetcher
Handler	createFetcherHandler() 生成处理抓取消息的Handler，默认通过Crawler的visit方法来处理成功抓取的页面， 通过failed方法来处理失败抓取的页面
abstract Generator	createGenerator()
abstract Injector	createInjector()
void	failed(Page page) 爬取失败时执行的方法
ArrayList<String>	getRegexs() 返回正则规则列表
ArrayList<String>	getSeeds() 返回种子URL列表
int	getThreads() 返回线程数
void	inject() 注入
boolean	isResumable() 返回是否为断点爬取模式
void	setRegexs(ArrayList<String> regexs) 设置正则规则列表
void	setResumable(boolean resumable) 设置是否为断点爬取模式
void	setSeeds(ArrayList<String> seeds) 设置种子URL列表
void	setThreads(int threads) 设置线程数
void	start(int depth) 开始深度为depth的爬取
void	stop() 停止爬取
protected Fetcher	updateFetcher(Fetcher fetcher)
void	visit(Page page) 爬取成功时执行的方法

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

从接口继承的方法 cn.edu.hfut.dmic.webcollector.net.RequestFactory

createRequest

从接口继承的方法 cn.edu.hfut.dmic.webcollector.parser.ParserFactory

createParser

从接口继承的方法 cn.edu.hfut.dmic.webcollector.generator.DbUpdaterFactory

createDbUpdater

字段详细资料

RUNNING

public static final int RUNNING

另请参阅:

常量字段值

STOPED

public static final int STOPED

另请参阅:

常量字段值

构造器详细资料

Crawler

public Crawler()

方法详细资料

createInjector

public abstract Injector createInjector()

createGenerator

public abstract Generator createGenerator()

createFetcher

public abstract Fetcher createFetcher()

生成Fetcher(抓取器)的方法，可以通过Override这个方法来完成自定义Fetcher

返回:

生成的抓取器

start

public void start(int depth)
           throws Exception

开始深度为depth的爬取

参数:

depth - 深度

抛出:

Exception

updateFetcher

protected Fetcher updateFetcher(Fetcher fetcher)

stop

public void stop()
          throws Exception

停止爬取

抛出:

Exception

inject

public void inject()
            throws Exception

注入

抛出:

Exception

visit

public void visit(Page page)

爬取成功时执行的方法

参数:

page - 成功爬取的网页/文件

failed

public void failed(Page page)

爬取失败时执行的方法

参数:

page - 爬取失败的网页/文件

createFetcherHandler

public Handler createFetcherHandler()

生成处理抓取消息的Handler，默认通过Crawler的visit方法来处理成功抓取的页面， 通过failed方法来处理失败抓取的页面

返回:

处理抓取消息的Handler

addSeed

public void addSeed(String seed)

添加一个种子url

参数:

seed - 种子url

addRegex

public void addRegex(String regex)

添加一个正则过滤规则

参数:

regex - 正则过滤规则

isResumable

public boolean isResumable()

返回是否为断点爬取模式

返回:

是否为断点爬取模式

setResumable

public void setResumable(boolean resumable)

设置是否为断点爬取模式

参数:

resumable - 是否为断点爬取模式

getThreads

public int getThreads()

返回线程数

返回:

线程数

setThreads

public void setThreads(int threads)

设置线程数

参数:

threads - 线程数

getRegexs

public ArrayList<String> getRegexs()

返回正则规则列表

返回:

正则规则列表

setRegexs

public void setRegexs(ArrayList<String> regexs)

设置正则规则列表

参数:

regexs - 正则规则列表

getSeeds

public ArrayList<String> getSeeds()

返回种子URL列表

返回:

种子URL列表

setSeeds

public void setSeeds(ArrayList<String> seeds)

设置种子URL列表

参数:

seeds - 种子URL列表