cn.edu.hfut.dmic.webcollector.crawler

类 CommonCrawler

java.lang.Object

cn.edu.hfut.dmic.webcollector.crawler.Crawler

cn.edu.hfut.dmic.webcollector.crawler.CommonCrawler

所有已实现的接口:

DbUpdaterFactory, RequestFactory, ParserFactory

直接已知子类:

BreadthCrawler, RedisCrawler

public abstract class CommonCrawler
extends Crawler

一种常用的广度遍历爬虫

作者:

hu

字段概要

从类继承的字段 cn.edu.hfut.dmic.webcollector.crawler.Crawler

RUNNING, STOPED

构造器概要

构造器

构造器和说明
CommonCrawler()

方法概要

方法

限定符和类型	方法和说明
Fetcher	createFetcher() 生成Fetcher(抓取器)的方法，可以通过Override这个方法来完成自定义Fetcher
Parser	createParser(String url, String contentType) 根据网页的url和contentType，来创建Parser(解析器)，可以通过Override这个方法来自定义Parser
Request	createRequest(String url) 根据url生成Request(http请求)的方法，可以通过Override这个方法来自定义Request
ConnectionConfig	getConconfig() 返回http连接配置对象
String	getCookie() 返回Cookie
boolean	getIsContentStored() 返回是否存储网页/文件的内容
Proxy	getProxy() 返回代理
String	getUseragent() 返回User-Agent
void	setConconfig(ConnectionConfig conconfig) 设置http连接配置对象
void	setCookie(String cookie) 设置http请求的cookie
void	setIsContentStored(boolean isContentStored) 设置是否存储网页／文件的内容
void	setProxy(Proxy proxy) 设置代理
void	setUseragent(String useragent) 设置User-Agent

从类继承的方法 cn.edu.hfut.dmic.webcollector.crawler.Crawler

addRegex, addSeed, createFetcherHandler, createGenerator, createInjector, failed, getRegexs, getSeeds, getThreads, inject, isResumable, setRegexs, setResumable, setSeeds, setThreads, start, stop, updateFetcher, visit

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

从接口继承的方法 cn.edu.hfut.dmic.webcollector.generator.DbUpdaterFactory

createDbUpdater

构造器详细资料

CommonCrawler

public CommonCrawler()

方法详细资料

createRequest

public Request createRequest(String url)
                      throws Exception

根据url生成Request(http请求)的方法，可以通过Override这个方法来自定义Request

参数:

url -

返回:

实现Request接口的对象

抛出:

Exception

createParser

public Parser createParser(String url,
                  String contentType)
                    throws Exception

根据网页的url和contentType，来创建Parser(解析器)，可以通过Override这个方法来自定义Parser

参数:

url -

contentType -

返回:

实现Parser接口的对象

抛出:

Exception

createFetcher

public Fetcher createFetcher()

从类复制的说明: Crawler

生成Fetcher(抓取器)的方法，可以通过Override这个方法来完成自定义Fetcher

指定者:

createFetcher 在类中 Crawler

返回:

生成的抓取器

getUseragent

public String getUseragent()

返回User-Agent

返回:

User-Agent

setUseragent

public void setUseragent(String useragent)

设置User-Agent

参数:

useragent -

getConconfig

public ConnectionConfig getConconfig()

返回http连接配置对象

返回:

http连接配置对象

setConconfig

public void setConconfig(ConnectionConfig conconfig)

设置http连接配置对象

参数:

conconfig - http连接配置对象

getIsContentStored

public boolean getIsContentStored()

返回是否存储网页/文件的内容

返回:

是否存储网页/文件的内容

setIsContentStored

public void setIsContentStored(boolean isContentStored)

设置是否存储网页／文件的内容

参数:

isContentStored - 是否存储网页/文件的内容

getProxy

public Proxy getProxy()

返回代理

返回:

代理

setProxy

public void setProxy(Proxy proxy)

设置代理

参数:

proxy - 代理

getCookie

public String getCookie()

返回Cookie

返回:

Cookie

setCookie

public void setCookie(String cookie)

设置http请求的cookie

参数:

cookie - Cookie