cn.edu.hfut.dmic.webcollector.crawler

类 BreadthCrawler

java.lang.Object

cn.edu.hfut.dmic.webcollector.crawler.Crawler

cn.edu.hfut.dmic.webcollector.crawler.CommonCrawler

cn.edu.hfut.dmic.webcollector.crawler.BreadthCrawler

所有已实现的接口:

DbUpdaterFactory, RequestFactory, ParserFactory

直接已知子类:

RedisMergeBreadthCrawler

public class BreadthCrawler
extends CommonCrawler

基于文件系统的广度遍历爬虫

作者:

hu

字段概要

从类继承的字段 cn.edu.hfut.dmic.webcollector.crawler.Crawler

RUNNING, STOPED

构造器概要

构造器

构造器和说明
BreadthCrawler()

方法概要

方法

限定符和类型	方法和说明
DbUpdater	createDbUpdater()
Generator	createGenerator()
Injector	createInjector()
String	getCrawlPath() 返回存储爬虫爬取信息的文件夹路径
String	getRoot() 已过时。
void	setCrawlPath(String crawlPath) 设置存储爬虫爬取信息的文件夹路径
void	setRoot(String root) 已过时。
void	visit(Page page) 爬取成功时执行的方法

从类继承的方法 cn.edu.hfut.dmic.webcollector.crawler.CommonCrawler

createFetcher, createParser, createRequest, getConconfig, getCookie, getIsContentStored, getProxy, getUseragent, setConconfig, setCookie, setIsContentStored, setProxy, setUseragent

从类继承的方法 cn.edu.hfut.dmic.webcollector.crawler.Crawler

addRegex, addSeed, createFetcherHandler, failed, getRegexs, getSeeds, getThreads, inject, isResumable, setRegexs, setResumable, setSeeds, setThreads, start, stop, updateFetcher

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细资料

BreadthCrawler

public BreadthCrawler()

方法详细资料

visit

public void visit(Page page)

从类复制的说明: Crawler

爬取成功时执行的方法

覆盖:

visit 在类中 Crawler

参数:

page - 成功爬取的网页/文件

createDbUpdater

public DbUpdater createDbUpdater()

createInjector

public Injector createInjector()

指定者:

createInjector 在类中 Crawler

createGenerator

public Generator createGenerator()

指定者:

createGenerator 在类中 Crawler

getCrawlPath

public String getCrawlPath()

返回存储爬虫爬取信息的文件夹路径

返回:

存储爬虫爬取信息的文件夹路径

setCrawlPath

public void setCrawlPath(String crawlPath)

设置存储爬虫爬取信息的文件夹路径

参数:

crawlPath - 存储爬虫爬取信息的文件夹路径

getRoot

@Deprecated
public String getRoot()

已过时。

如果使用默认的visit，返回存储网页文件的路径

返回:

如果使用默认的visit，存储网页文件的路径

setRoot

@Deprecated
public void setRoot(String root)

已过时。

如果使用默认的visit,设置存储网页文件的路径

参数:

root - 如果使用默认的visit,存储网页文件的路径