public class Config extends Object
限定符和类型 | 字段和说明 |
---|---|
static String |
current_info_path |
static long |
interval
相同网页爬取时间间隔(如果为-1,表示爬取时间间隔为无穷大)
|
static String |
lock_path |
static int |
maxsize
网页/文件爬取时大小上限(字节)
|
static String |
old_info_path |
static long |
requestMaxInterval |
static int |
segmentwriter_buffer_size
爬取时,写爬取信息的SegmentWriter的缓存,如果希望爬取信息在断电等异常中断时无
丢失,将该属性值设为1,但会造成磁盘操作频繁。
|
static Integer |
topN
每个网页解析时,保存链接的数量上限(如果为null,则链接数量无上限)
|
构造器和说明 |
---|
Config() |
public static long requestMaxInterval
public static int maxsize
public static long interval
public static Integer topN
public static int segmentwriter_buffer_size
Copyright © 2014. All Rights Reserved.