cn.edu.hfut.dmic.webcollector.plugin.redis

类 RedisMergeFSDbupdater

java.lang.Object

cn.edu.hfut.dmic.webcollector.generator.FSDbUpdater

cn.edu.hfut.dmic.webcollector.plugin.redis.RedisMergeFSDbupdater

所有已实现的接口:

DbUpdater

public class RedisMergeFSDbupdater
extends FSDbUpdater

使用redis来进行海量URL去重的插件 如果使用该插件，请安装redis数据库并开启

作者:

hu

字段概要

字段

限定符和类型	字段和说明
static int	REDIS_TIME_OUT

构造器概要

构造器

构造器和说明
RedisMergeFSDbupdater(String crawlPath)

方法概要

方法

限定符和类型	方法和说明
protected void	addToRedis(CrawlDatum datum)
String	getIp()
int	getPort()
static void	main(String[] args)
void	merge() 将爬取记录和爬取任务列表合并，更新爬取任务列表
void	setIp(String ip)
void	setPort(int port)
protected void	update(CrawlDatum datum)

从类继承的方法 cn.edu.hfut.dmic.webcollector.generator.FSDbUpdater

backup, clearHistory, close, getCrawlPath, getLastSegmentName, getSegmentName, getSegmentPath, getSegmentWriter, initSegmentWriter, isLocked, lock, setCrawlPath, setSegmentName, unlock

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

字段详细资料

REDIS_TIME_OUT

public static int REDIS_TIME_OUT

构造器详细资料

RedisMergeFSDbupdater

public RedisMergeFSDbupdater(String crawlPath)

方法详细资料

getIp

public String getIp()

setIp

public void setIp(String ip)

getPort

public int getPort()

setPort

public void setPort(int port)

addToRedis

protected void addToRedis(CrawlDatum datum)

update

protected void update(CrawlDatum datum)

merge

public void merge()
           throws IOException

从类复制的说明: FSDbUpdater

将爬取记录和爬取任务列表合并，更新爬取任务列表

指定者:

merge 在接口中 DbUpdater

覆盖:

merge 在类中 FSDbUpdater

抛出:

IOException

main

public static void main(String[] args)