页面
1：假如说你的站点页面中有这么一句：
<META NAME="robots" CONTENT="index,follow">
你利用Nutch抓取并分析时，如何得到这个meta数值并处理呢？
2：你可以从HtmlParseFilter扩展出一个RobotsParserFilter，用下面的代码得到meta值：
Properties generalMetaTags = metaTags.getGeneralTags();
String robots = generalMetaTags.getProperty("robots");
3：增加这个值到metadata中：
parse.getData().getMetadata().put("robots", robots);
4： robots属性还可以再次从 metadata获取：
String robots2 = parse.getData().get("robots");
