mahout
Sep 13
mahout hadoop 对应关系
mahout 与hadoop 版本对应
mahout 与hadoop 安装有版本对应问题吗?比如Hadoop 1.x 能装哪些版本的Mahout,Hadoop 2.x 能用哪些版本的Mahout.

官网0.9版本可以下载到的Mahout版本都是基于Hadoop 1.x版本编译的,如果直接运行在Hadoop 2.x版本上就会报错抛出异常。
0.9 版本基于(hadoop-core-1.2.1.jar)
解决方法就是下载最新的源码,并且编译成Hadoop 2.x兼容模式,下面是具体编译方法:
1. 使用git命令克隆Mahout最新的源码到本地,
    git clone https://github.com/apache/mahout.git
2. Mahout源代码下载完成后,直接使用mvn命令编译源代码,注意要加上hadoop2.version=2.4.1参数让编译后的Mahout可以兼容Hadoop 2.4.1版本。这里版本可以填写任何的2.x版本。
    mvn -Dhadoop2.version=2.4.1 -DskipTests clean install

官网building介绍
https://mahout.apache.org/developers/buildingmahout.html

关于Mahout的安装配置,有两种方式:
其一,下载源码(直接下载源码或者通过svn下载源码都可以),然后使用Maven进行编译;
其二,下载完整包进行解压缩。里面有一个lib/hadoop文件夹,查看对应的版本。这里我使用的是mahout-distribution-0.9.tar.gz完整包进行解压缩安装。

mahout-and-hadoop-map
----end

Tags: ,
分页: 1/1 第一页 1 最后页 [ 显示模式: 摘要 | 列表 ]