他的最新文章
他的热门文章
您举报文章：
举报原因：
原文地址：
原因补充：
(最多只允许输入30个字)3031123456791213141516171819202122232425262728293031123456789
阅读排行榜
评论排行榜查看: 48587|回复: 0
Nutch-2.2.1系列之二编译部署Nutch及常见问题
主题帖子积分
金牌会员, 积分 6962, 距离下一级还需 3038 积分
金牌会员, 积分 6962, 距离下一级还需 3038 积分
1、要学习Nutch2.2.1的功能，自己如何编译Nutch呢？
2、编译Nutch需要使用Ant，需要做好哪些相应的配置？
3、如何检查编译是否成功？
本文接上一篇：
Nutch1.x从1.7版本开始不再提供完整的部署文件，只提供源代码文件及相关的build.xml文件,这就要求用户自己编译Nutch，而整个Nutch2.x版本都不提供编译完成的文件，所以想要学习Nutch2.2.1的功能，就必须自己手动编译文件。这篇文章主要介绍了如何编译Nutch2.2.1版本，同时罗列了一些编译过程中遇到的问题及解决方案。当然不可能列举所有的问题，希望大家可以补充自己遇到的一些问题及解决方法。由于编译Nutch需要使用Ant，以下操作都假设已经安装好Java和Ant，并做好了相应的配置，如JAVA_HOME、ANT_HOME及PATH路径。
1.& &要编译Nutch2.2.1，当然要先下载对应的版本，可以从官网直接下载，下载的URL为，选择apache-nutch-2.2.1-src.tar.gz下载，我将下载的文件保存在/home/hadoop/BigData中，然后执行tar命令，将文件解压到/home/hadoop目录下。如下图所示：
1.png (29.99 KB, 下载次数: 34)
19:15 上传
2.& &进入apache-nutch-2.2.1目录，执行ls –al命令查看nutch的目录结构，与1.x版本的不同在于，nutch2.x不再有bin目录了，有了新的ivy目录用于使用ivy管理nutch。
2.png (21.77 KB, 下载次数: 37)
19:15 上传
3.& &在nutch主目录下执行ant命令，对ant源代码进行编译。根据各自的带宽情况，所需要的时间是不一样的。下载过程及成功信息如下面两张图所示，在第二张图的最后，可以看到提示信息BUILD SUCCESSFUL，说明编译成功，若提示信息为BUILD FAILED，则说明编译失败，需要根据编译过程中输出的信息查找错误原因。
3.png (78.24 KB, 下载次数: 22)
19:15 上传
4.png (85.88 KB, 下载次数: 20)
19:15 上传
4.& &编译成功后，再执行ls –al命令，发现目录结构跟编译前发现了变化。新增了build和runtime目录，这两个目录也是和1.x版本不同的地方之一。
5.png (24.56 KB, 下载次数: 20)
19:16 上传
下面会介绍可能会出现的几种错误原因，希望对大家有所帮助。第一个错误如下图所示（但该错误不会影响到编译成功与否），这个问题可以通过查看build.xml，并修改其中的内容解决。具体方法是，在buil.xml中查找org/sonar/ant/antlib.xml，在840行发现该内容。通过查看源文件，build的过程会在ant或者mysql的lib目录中查找sonar的jar包，在没有配置这些属性的情况下找不到jar包就出现了该问题。大家可以将sonar的jar包放到当前目录，并将build文件中的classpath修改为当前目录，或者设置ant或者mysql属性，都可以解决该问题。如上文已经提到过的，此问题不会影响到编译成功与否。
6.png (16.23 KB, 下载次数: 20)
19:16 上传
另一个影响到编译结果的问题如下图所示，根据输出信息可知，ivy从本地连接仓库时失败。这个问题可以通过用 URL替换\ivy目录下ivysettings.xml中的解决。代码位置为&property name=&repo.maven.org& value=&http://repo1.maven.org/maven2/& override=&false&/&
7.png (148.66 KB, 下载次数: 18)
19:17 上传
或者修改hosts文件，添加72.21.81.253& & repo1.maven.org，该方法也可以解决下载问题
相关文章推荐
Nutch-2.2.1系列之一Nutch简介||及jar包问题解决
Nutch-2.2.1系列之三Nutch配置文件||Nutch与Hbase结合使用时常见问题
Nutch-2.2.1系列之四Nutch抓取数据在HBase中的存储
Nutch-2.2.1学习之五以伪分布模式运行Nutch
Nutch-2.2.1系列之六Nutch与Solr的集成
Nutch-2.2.1系列之七过滤抓取数据
Nutch-2.2.1系列之八Nutch过滤URL实践
欢迎加入about云群 、 ，云计算爱好者群，关注
积极上进，爱好学习
经常参与各类话题的讨论，发帖内容较有主见
长期对论坛的繁荣而不断努力，或多次提出建设性意见
为论坛做出突出贡献的会员
站长推荐 /4
云计算hadoop视频大全(新增 yarn、flume|storm、hadoop一套视频
等待验证会员请验证邮箱
新手获取积分方法
技术类问答，解决学习openstack，hadoop生态系统中遇到的问题
Powered byubuntu 10.04 安装使用 lucene
编辑：www.fx114.net
本篇文章主要介绍了"ubuntu 10.04 安装使用 lucene"，主要涉及到ubuntu 10.04 安装使用 lucene方面的内容，对于ubuntu 10.04 安装使用 lucene感兴趣的同学可以参考一下。
&lucene-3.0.3-src.tar.gz&（刚开始下载了3.6但是ant时候出错放弃了）
2.安装配置
前提是安装了jdk,ant：
sudo apt-get install openjdk-6-jdk
sudo apt-get install ant
tar zxvf解压lucene之后cd进入lucene根目录。
直接输入命令 ant
则在build目录下可以看到
lucene-core-3.0.3-dev.jar &lucene-demos-3.0.3-dev.jar 两个jar包。
将其添加进CLASSPATH路径变量（注意是将这两个文件添加进去，而不是将这两个文件所在目录添加进去）。
cd到lucene根目录：
输入命令 java org.apache.lucene.demo.IndexFiles src
（如果说找不到indexfiles说明添加classpath时两个jar包没有成功添加进去）&
该命令将src目录下的文件建立索引文件index。
运行完成后出现一个index目录。
输入命令java org.apache.lucene.demo.SearchFiles
然后再根据提示输入检索词，比如string，则会显示包含string的文件。
[步骤都是看着自带的docs目录里面demo.pdf一步步做的]
一、不得利用本站危害国家安全、泄露国家秘密，不得侵犯国家社会集体的和公民的合法权益，不得利用本站制作、复制和传播不法有害信息！
二、互相尊重，对自己的言论和行为负责。
本文标题：
本页链接：1235人阅读
java（115）
&?xml version=&1.0& encoding=&UTF-8&?&
&project name=&xxxx-extra& basedir=&.&&
&property name=&src& value=&./src/main/webapp/WEB-INF/classes& /&
&property name=&targetsrc& value=&./target& /&
&property name=&dest& value=&./target/bin& /&
&property name=&jarname& value=&./target/bin/xxxx-extra.jar& /&
&target name=&init&&
&delete includeemptydirs=&yes& dir=&${dest}& /&
&mkdir dir=&${dest}/classes& /&
&copy todir=&${dest}& overwrite=&yes&&
&fileset dir=&${src}&&
&include name=&applicationContext-extra.xml& /&
&/fileset&
&fileset dir=&${src}&&
&include name=&extra.properties& /&
&/fileset&
&copy todir=&${dest}/classes& overwrite=&yes&&
&fileset dir=&${src}&&
&include name=&ABCSqlMapConfig.xml& /&
&/fileset&
&copy todir=&${dest}/classes/com/xxxxsoft/xxxx/service/exchange& overwrite=&yes&&
&fileset dir=&${src}/com/xxxxsoft/xxxx/service/exchange&&
&include name=&**/*.class& /&
&/fileset&
&copy todir=&${dest}/classes/com/xxxxsoft/xxxx/model/exchange& overwrite=&yes&&
&fileset dir=&${src}/com/xxxxsoft/xxxx/model/exchange&&
&include name=&Oexchange.xml& /&
&/fileset&
&target name=&build-jar& depends=&init&&
&jar jarfile=&${jarname}& basedir=&${dest}/classes&&
&target name=&mvn&&
&exec executable=&cmd& failonerror=&true&&
&arg value=&/c& /&
&arg value=&mvn& /&
&arg value=&install:install-file& /&
&arg value=&-Dfile=${dest}/xxxx-extra.jar& /&
&arg value=&-DgroupId=com.xxxxsoft.xxxx& /&
&arg value=&-DartifactId=xxxx-extra& /&
&arg value=&-Dversion=2.1.4& /&
&arg value=&-Dpackaging=jar& /&
&/project&以上，可以根据自己项目的要求改变todir和fileset内容，myeclipse中执行ant build即可
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：791708次
积分：7136
积分：7136
排名：第3638名
原创：144篇
转载：219篇
评论：82条
(3)(6)(3)(2)(8)(7)(1)(2)(20)(5)(17)(1)(18)(21)(12)(7)(2)(21)(16)(12)(7)(8)(6)(10)(13)(13)(1)(9)(25)(26)(19)(5)(21)(1)(2)(1)(3)(2)(4)(1)(3)
(window.slotbydup = window.slotbydup || []).push({
id: '4740890',
container: s,
size: '250,250',
display: 'inlay-fix'