一、下载安装文件

 

1、下载目前最新版本 nutch-1.0：http://lucene.apache.org/nutch

2、下载tomcat6.0:http://tomcat.apache.org

3、解压下载的两个压缩文件到 /home/java

 

二、配置文件

 

1、修改conf/hadoop-site.xml （配置文件和前面的hadoop-0.20.2不一样，这里的版本0.19.1不够先进）

     
     
     
             
                      
      
       fs.default.name
                       
      
       hdfs://home0.hadoop:9000
               
              
                      
      
       mapred.job.tracker
                       
      
       home0.hadoop:9001
            
              
                      
      
       dfs.name.dir
                       
      
       /home/lighttpd/hadoopfs/name_0,/home/lighttpd/hadoopfs/name_1                  
       
        Determines where on the local filesystem the DFS name node                         should store the name table. If this is a comma-delimited list of        directories                         then the name table is replicated in all of the directories,                         for redundancy.                 
                
      
              
                      
      
       dfs.data.dir
                       
      
       /home/lighttpd/hadoopfs/data_0,/home/lighttpd/hadoopfs/data_1                 
       
                                 Determines where on the local filesystem an DFS data node                         should store its blocks. If this is a comma-delimited list of dir       ectories,                         then data will be stored in all named directories, typically on d       ifferent devices.                         Directories that do not exist are ignored.                 
                
      
      
    

 2、修改 JAVA_HOME变量指向

    在这个文件中hadoop-env.sh修改，前面配置hadoop已经讲过了。

 

4、设定主从节点

    修改 conf/masters 文件，将其中的 localhost 改为 home0.hadoop 。

    修改 conf/slaves 文件。 删掉其中的localhost, 将我们的另两台机器 home1.hadoop、home2.hadoop 加入, 注意每个机器一行。

    masters里面的是主机节点，slaves里面是从机节点。

 

5、同样的配置拷贝到其他两台机器上去

scp -r nutch1.0 home1.hadoop:/home/yourname/

 注意：可能您每台机器的JAVA安装位置不一样，记得修改conf/hadoop-env.sh,设置export JAVA_HOME=正确路径

 

三、启动hadoop服务

 

1、 格式化一个新的分布式文件系统

bin/hadoop namenode -format

 2、 启动hadoop进程

$ bin/start-all.sh

 

四、抓取、建立索引

 

1、配置抓取入口

    在nutch1.0目录下新建文件夹：urls，在该文件夹下新建文件：urllist.txt，在该文件中写入抓取列表，比如：

http://lucene.apache.org

   写入分布式文件系统

bin/hadoop fs -put urls urls

 

2、设置URL过滤规则

    编辑conf/crawl-urlfilter.txt

# accept hosts in MY.DOMAIN.NAME #+^http://([a-z0-9]*/.)*MY.DOMAIN.NAME/ +^http://([a-z0-9]*/.)*apache.org

 

3、执行抓取命令

 

bin/nutch crawl urls -dir crawledDir -depth 3 -threads 10

 

五、搜索环境

 

1 、把上面索引后的文件拷贝到本地 ，速度会好些，也可在分布式系统中，参考文档中讲到

bin/hadoop fs -copyToLocal crawledDir  /home/yourname/nutch-1.0/crawledData

 

2、把 nutch-1.0.war 文件拷贝到tomcat下webapps目录，启动tomcat解压文件,再关闭服务

$ cp nutch-1.0.war /home/yourname/java/apache-tomcat-6.0.18/ $ cd  /home/lighttpd/java/apache-tomcat-6.0.18/ $ bin/startup.sh 浏览器输入：http://locahost:8080/nutch-1.0 $ bin/shutdown.sh

 

3、修改/WEB-INF/classes/nutch-site.xml

     
     
     
     
             
                      
      
       searcher.dir
                       
      
       /home/yourname/nutch-1.0/crawledDir
               
      
    

4、支持中文 ，在server.xml的 Connector中加入属性

URIEncoding="UTF-8" useBodyEncodingForURI="true"

 

5、启动tomcat

$ cd  /home/lighttpd/java/apache-tomcat-6.0.18/ $ bin/startup.sh

 

6、浏览器输入：http://locahost:8080/nutch-1.0 搜索试试

 

六、注意：

 

1、这里搜索的索引文件是拷贝到本地的文件，也可以搭建分布式索引文件

2、还可以搭建索引文件在不同的机器上，搜索时候从各个索引文件合并搜索结果

3、eclipse工程中的对应配置文件，都做设置的话，会运行在分布式系统中，如想调试运行在从机器上程序，需要采用本地运行方式，把hadoop-site.xml文件挪走，或者改名。