cn.edu.hfut.dmic.webcollector.generator

类 FSGenerator

java.lang.Object

cn.edu.hfut.dmic.webcollector.generator.FSGenerator

所有已实现的接口:

Generator

public class FSGenerator
extends Object
implements Generator

广度遍历使用的爬取任务生成器

作者:

hu

构造器概要

构造器

构造器和说明
FSGenerator(String crawlPath) 构造一个广度遍历爬取任务生成器，从制定路径的文件夹中获取任务

方法概要

方法

限定符和类型	方法和说明
CrawlDatum	next() 获取下一个抓取任务
protected boolean	shouldFilter(String url) 用户自定义的过滤规则，可以通过Override这个函数，来定义自己的StandardGenerator

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细资料

FSGenerator

public FSGenerator(String crawlPath)

构造一个广度遍历爬取任务生成器，从制定路径的文件夹中获取任务

参数:

crawlPath - 存储爬取信息的文件夹

方法详细资料

next

public CrawlDatum next()

从接口复制的说明: Generator

获取下一个抓取任务

指定者:

next 在接口中 Generator

返回:

下一个抓取任务，如果没有任务，返回null

shouldFilter

protected boolean shouldFilter(String url)

用户自定义的过滤规则，可以通过Override这个函数，来定义自己的StandardGenerator

参数:

url -

返回:

是否需要过滤这个url