Jul 8

提示hadoop FileInputFormat.addInputPath无法加入job类,只能加入JobConf的原因和处理方法 不指定

admin , 22:28 , Hadoop , 评论(0) , 引用(0) , 阅读(364) , Via 本站原创 | |
搜索
我已经获得阿里云幸运券,准备分享给您。请点击获取   提示hadoop FileInputFormat.addInputPath无法加入job类,只能加入JobConf的原因和处理方法
在使用Hadoop 的MapReducer的FileInputFormat 和FileOutputFormat
提示
The method addInputPath(JobConf, Path) in the type FileInputFormat is not applicable for the arguments (Configuration, Path)

The method setInputPath(JobConf, Path) in the type FileInputFormat is not applicable for the arguments (Configuration, Path)
原来是
//指定要处理的原始数据所存放的路径 、ljs 自动把这个目录下的都查找
  FileInputFormat.setInputPaths(wordcountjob, "hdfs://itlife365:9000/wc/srcdata");
 
  //指定处理之后的结果输出到哪个路径 FileOutput的一个默认实现 FileOutputFormat
  FileOutputFormat.setOutputPath(wordcountjob, new Path("hdfs://itlife365:9000/wc/output"));

原因:
旧版mapreduceAPI,在mapred包下的,需修改成mapreduce包下的FileInputFormat 就可以了。
旧的:
import org.apache.hadoop.mapred.FileInputFormat;
新的API:
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

---java hadoop FileInputFormat  end