最近在帮学弟学妹们看Hadoop相关的毕业设计发现大家普遍卡在第一步环境搭建和第一个程序运行。网上的教程要么太老要么步骤跳跃照着做总出各种稀奇古怪的错误。今天我就把自己趟过坑的经验总结一下目标是让你能在一天内从零在本地电脑上跑通一个伪分布式的Hadoop环境并成功运行经典的WordCount程序为你的毕设打下坚实基础。1. 新手做Hadoop毕设的三大“拦路虎”在开始动手之前我们先理清新手最容易遇到的几个痛点这样你在后续步骤中遇到问题就不会慌。环境配置复杂依赖多Hadoop运行需要Java环境各个节点之间需要SSH免密登录配置文件一堆core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml改错一个地方就可能全盘皆输。很多同学在这里就被劝退了。概念抽象日志晦涩MapReduce的编程模型、HDFS的存储原理光看理论很难理解。程序跑失败了日志动辄几百行全是INFO、WARN、ERROR找不到关键报错信息不知道从哪里下手调试。“伪分布式”与“完全分布式”傻傻分不清自己的电脑资源有限不可能搞多台实体机或虚拟机做完全分布式。伪分布式模式所有守护进程跑在一台机器上是最佳的学习和毕设起步环境但很多教程混着讲导致配置混乱。2. 部署方式选择找到你的起跑线在搭建之前我们先明确三种模式帮你选对起点单机模式Local/Standalone ModeHadoop作为单个Java进程运行不使用HDFS也不启动任何守护进程。它使用本地文件系统。适合仅用于调试MapReduce程序逻辑快速验证代码是否正确。不适合需要用到HDFS或YARN功能的毕设。伪分布式模式Pseudo-Distributed Mode这是我们的主战场。Hadoop的所有守护进程NameNode, DataNode, ResourceManager, NodeManager等都运行在一台机器上但每个进程都以独立的Java进程运行。它模拟了一个小型的集群使用了HDFS和YARN。适合学习和毕业设计开发、测试。它具备了分布式系统的几乎所有特性但资源消耗相对可控。完全分布式模式Fully Distributed ModeHadoop守护进程运行在多台机器组成的集群上。适合生产环境或需要处理海量数据的最终毕设演示。对于初期开发和算法验证来说成本高且复杂。结论对于毕设入门强烈建议从伪分布式模式开始。它能让你理解完整的Hadoop工作流程又避免了多机网络的复杂性。3. 手把手搭建伪分布式Hadoop 3.x环境以Ubuntu为例假设你已经有一台安装好Ubuntu或CentOS的电脑或虚拟机。我们以Hadoop 3.3.6版本为例。安装JavaHadoop是基于Java的首先确保安装了JDK 8或JDK 11推荐JDK 8兼容性最好。sudo apt update sudo apt install openjdk-8-jdk java -version # 验证安装记下你的JAVA安装路径例如/usr/lib/jvm/java-8-openjdk-amd64。配置SSH免密登录Hadoop的脚本管理集群需要SSH免密登录到localhost。ssh-keygen -t rsa -P -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys现在尝试ssh localhost应该可以直接登录而无需密码。下载并解压Hadoopwget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz tar -xzvf hadoop-3.3.6.tar.gz -C /opt/ # 解压到/opt目录你可以选择其他路径 sudo mv /opt/hadoop-3.3.6 /opt/hadoop sudo chown -R your_username:your_username /opt/hadoop # 将所有权改为你的用户避免权限问题配置环境变量编辑你的~/.bashrc文件在末尾添加export HADOOP_HOME/opt/hadoop export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64 # 替换成你的实际路径 export HADOOP_CONF_DIR$HADOOP_HOME/etc/hadoop然后执行source ~/.bashrc使配置生效。修改Hadoop核心配置文件进入$HADOOP_HOME/etc/hadoop/目录。core-site.xml配置HDFS的默认地址和临时目录。configuration property namefs.defaultFS/name valuehdfs://localhost:9000/value /property property namehadoop.tmp.dir/name value/opt/hadoop/tmp/value !-- 确保此目录存在且有写权限 -- /property /configurationhdfs-site.xml配置HDFS的副本数伪分布式设为1。configuration property namedfs.replication/name value1/value /property property namedfs.namenode.name.dir/name valuefile://${hadoop.tmp.dir}/dfs/name/value /property property namedfs.datanode.data.dir/name valuefile://${hadoop.tmp.dir}/dfs/data/value /property /configurationmapred-site.xml指定MapReduce运行在YARN框架上。configuration property namemapreduce.framework.name/name valueyarn/value /property /configurationyarn-site.xml配置YARN资源管理器。configuration property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property property nameyarn.nodemanager.env-whitelist/name valueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME/value /property /configurationhadoop-env.sh确保其中的JAVA_HOME设置正确。export JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64格式化HDFS并启动集群# 首次运行前必须格式化NameNode。注意这会清空HDFS所有数据 hdfs namenode -format # 启动HDFS start-dfs.sh # 启动YARN start-yarn.sh使用jps命令查看Java进程应该能看到NameNode,DataNode,ResourceManager,NodeManager等进程。验证安装访问HDFS Web UI:http://localhost:9870访问YARN Web UI:http://localhost:8088如果能正常打开页面恭喜你伪分布式环境搭建成功4. WordCount代码详解理解MapReduce核心环境好了我们来写第一个MapReduce程序——词频统计WordCount。这是Hadoop的“Hello World”。项目结构与依赖创建一个Maven项目在pom.xml中添加Hadoop客户端依赖。dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-client/artifactId version3.3.6/version /dependency完整带注释的Java代码import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import java.io.IOException; import java.util.StringTokenizer; public class WordCount { // Mapper类 // 输入键值对行偏移量, 一行文本 // 输出键值对单词, 1 public static class TokenizerMapper extends MapperLongWritable, Text, Text, IntWritable { private final static IntWritable one new IntWritable(1); private Text word new Text(); Override public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { // 将一行文本拆分成单词 StringTokenizer itr new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); // 输出中间结果每个单词出现一次就标记为1 context.write(word, one); } } } // Reducer类 // 输入键值对单词, [1, 1, 1, ...] 由Shuffle过程收集而来 // 输出键值对单词, 总次数 public static class IntSumReducer extends ReducerText, IntWritable, Text, IntWritable { private IntWritable result new IntWritable(); Override public void reduce(Text key, IterableIntWritable values, Context context) throws IOException, InterruptedException { int sum 0; // 对同一个单词的所有计数值1进行求和 for (IntWritable val : values) { sum val.get(); } result.set(sum); // 输出最终结果 context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf new Configuration(); Job job Job.getInstance(conf, word count); // 设置主类、Mapper类、Reducer类 job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); // 可选Combiner在Map端先做一次局部聚合 job.setReducerClass(IntSumReducer.class); // 设置输出键值类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); // 设置输入和输出路径从命令行参数获取 FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); // 提交作业并等待完成 System.exit(job.waitForCompletion(true) ? 0 : 1); } }关键概念解释Mapper/Reducer的输入输出类型Hadoop定义了Writable序列化接口。LongWritable相当于LongText相当于StringIntWritable相当于Integer。Mapper的输出类型必须和Reducer的输入类型匹配。Shuffle机制这是MapReduce的“神奇”所在。Mapper产生word, 1后框架会自动根据keyword进行分区Partitioning、排序Sorting和分组Grouping然后将相同key的所有value即一堆1发送给同一个Reducer。你在Reducer中看到的IterableIntWritable values就是Shuffle后的结果。5. 运行与测试本地 vs 集群本地测试单机模式无需启动Hadoop集群直接在IDE里运行main方法输入参数为本地文件路径如input.txt output。这用于快速调试业务逻辑。集群提交伪分布式模式# 1. 将输入文件上传到HDFS hdfs dfs -mkdir -p /user/yourname/input hdfs dfs -put local_input.txt /user/yourname/input/ # 2. 将程序打包成JAR例如 wordcount.jar # 3. 使用hadoop命令提交作业到YARN集群 hadoop jar wordcount.jar WordCount /user/yourname/input /user/yourname/output # 4. 查看结果 hdfs dfs -cat /user/yourname/output/part-r-00000关键差异输入输出路径是HDFS路径hdfs://...作业由YARN统一调度资源执行。6. 生产环境避坑指南伪分布式也适用即使是在伪分布式环境下以下问题也经常遇到NameNode格式化失败或元数据损坏现象start-dfs.sh失败NameNode启动不了日志报错元数据相关。原因多次执行hdfs namenode -format会导致集群ID不一致异常关机也可能损坏元数据。解决彻底停止集群stop-all.sh删除Hadoop临时目录${hadoop.tmp.dir}我们之前设为/opt/hadoop/tmp。重新格式化hdfs namenode -format重新启动。注意这会丢失HDFS上所有数据仅用于学习和测试环境重置。任务卡在ACCEPTED状态不动现象在YARN Web UI8088端口看到任务一直是ACCEPTED不运行。原因最常见原因是YARN资源不足。伪分布式下NodeManager可用的内存和CPU核数可能小于任务请求的量。解决修改$HADOOP_HOME/etc/hadoop/yarn-site.xml增加或调整资源设置property nameyarn.nodemanager.resource.memory-mb/name value2048/value !-- 根据你机器内存调整比如分配2GB -- /property property nameyarn.scheduler.minimum-allocation-mb/name value512/value !-- 单个容器最小内存 -- /property property nameyarn.nodemanager.resource.cpu-vcores/name value2/value !-- 根据你机器CPU核数调整 -- /property同时修改mapred-site.xml设置MapReduce任务资源property namemapreduce.map.memory.mb/name value512/value /property property namemapreduce.reduce.memory.mb/name value512/value /property修改后需重启YARNstop-yarn.sh start-yarn.sh。权限问题Permission Denied现象操作HDFS时如hdfs dfs -put报权限错误。原因HDFS有用户权限概念默认用户是启动shell的用户。或者目录所属用户/组不对。解决在hdfs-site.xml中关闭权限检查仅用于测试环境property namedfs.permissions.enabled/name valuefalse/value /property或者以HDFS超级用户身份执行命令如果知道超级用户密码或者使用hdfs dfs -chmod和hdfs dfs -chown修改目录权限。端口被占用Hadoop需要很多端口9000, 9870, 8088, 8042等。如果启动失败检查端口是否被其他程序占用。可以用netstat -tlnp | grep 端口号查看。7. 总结与下一步至此你已经成功搭建了Hadoop伪分布式环境并运行了第一个MapReduce程序。这个环境完全可以支撑你完成大部分毕设的前期开发、算法验证和功能测试。给你的挑战尝试优化你的WordCount程序。自定义Partitioner默认的Partitioner是根据key的哈希值对reduce任务数取模来分区的。你可以尝试实现一个自定义的Partitioner例如将以字母‘a’开头的单词全部分到第一个Reducer其他的分到第二个观察输出文件的变化。使用Combiner我们在代码中已经设置了job.setCombinerClass(IntSumReducer.class)。Combiner可以看作是一个在Map端运行的“迷你Reducer”它能减少Map到Reduce之间的数据传输量。思考一下是否所有场景都适合使用Combiner提示考虑运算的交换律和结合律。Hadoop生态很大但毕设的突破口往往就是从一个能稳定运行的环境和一个跑通的例子开始。希望这篇笔记能帮你扫清入门障碍把精力更多地投入到更有趣的业务逻辑和算法设计上去。动手改改代码看看日志遇到问题多查查社区你会发现分布式计算并没有想象中那么遥远。
Hadoop毕设入门实战：从零搭建分布式计算环境与WordCount避坑指南
最近在帮学弟学妹们看Hadoop相关的毕业设计发现大家普遍卡在第一步环境搭建和第一个程序运行。网上的教程要么太老要么步骤跳跃照着做总出各种稀奇古怪的错误。今天我就把自己趟过坑的经验总结一下目标是让你能在一天内从零在本地电脑上跑通一个伪分布式的Hadoop环境并成功运行经典的WordCount程序为你的毕设打下坚实基础。1. 新手做Hadoop毕设的三大“拦路虎”在开始动手之前我们先理清新手最容易遇到的几个痛点这样你在后续步骤中遇到问题就不会慌。环境配置复杂依赖多Hadoop运行需要Java环境各个节点之间需要SSH免密登录配置文件一堆core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml改错一个地方就可能全盘皆输。很多同学在这里就被劝退了。概念抽象日志晦涩MapReduce的编程模型、HDFS的存储原理光看理论很难理解。程序跑失败了日志动辄几百行全是INFO、WARN、ERROR找不到关键报错信息不知道从哪里下手调试。“伪分布式”与“完全分布式”傻傻分不清自己的电脑资源有限不可能搞多台实体机或虚拟机做完全分布式。伪分布式模式所有守护进程跑在一台机器上是最佳的学习和毕设起步环境但很多教程混着讲导致配置混乱。2. 部署方式选择找到你的起跑线在搭建之前我们先明确三种模式帮你选对起点单机模式Local/Standalone ModeHadoop作为单个Java进程运行不使用HDFS也不启动任何守护进程。它使用本地文件系统。适合仅用于调试MapReduce程序逻辑快速验证代码是否正确。不适合需要用到HDFS或YARN功能的毕设。伪分布式模式Pseudo-Distributed Mode这是我们的主战场。Hadoop的所有守护进程NameNode, DataNode, ResourceManager, NodeManager等都运行在一台机器上但每个进程都以独立的Java进程运行。它模拟了一个小型的集群使用了HDFS和YARN。适合学习和毕业设计开发、测试。它具备了分布式系统的几乎所有特性但资源消耗相对可控。完全分布式模式Fully Distributed ModeHadoop守护进程运行在多台机器组成的集群上。适合生产环境或需要处理海量数据的最终毕设演示。对于初期开发和算法验证来说成本高且复杂。结论对于毕设入门强烈建议从伪分布式模式开始。它能让你理解完整的Hadoop工作流程又避免了多机网络的复杂性。3. 手把手搭建伪分布式Hadoop 3.x环境以Ubuntu为例假设你已经有一台安装好Ubuntu或CentOS的电脑或虚拟机。我们以Hadoop 3.3.6版本为例。安装JavaHadoop是基于Java的首先确保安装了JDK 8或JDK 11推荐JDK 8兼容性最好。sudo apt update sudo apt install openjdk-8-jdk java -version # 验证安装记下你的JAVA安装路径例如/usr/lib/jvm/java-8-openjdk-amd64。配置SSH免密登录Hadoop的脚本管理集群需要SSH免密登录到localhost。ssh-keygen -t rsa -P -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys现在尝试ssh localhost应该可以直接登录而无需密码。下载并解压Hadoopwget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz tar -xzvf hadoop-3.3.6.tar.gz -C /opt/ # 解压到/opt目录你可以选择其他路径 sudo mv /opt/hadoop-3.3.6 /opt/hadoop sudo chown -R your_username:your_username /opt/hadoop # 将所有权改为你的用户避免权限问题配置环境变量编辑你的~/.bashrc文件在末尾添加export HADOOP_HOME/opt/hadoop export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64 # 替换成你的实际路径 export HADOOP_CONF_DIR$HADOOP_HOME/etc/hadoop然后执行source ~/.bashrc使配置生效。修改Hadoop核心配置文件进入$HADOOP_HOME/etc/hadoop/目录。core-site.xml配置HDFS的默认地址和临时目录。configuration property namefs.defaultFS/name valuehdfs://localhost:9000/value /property property namehadoop.tmp.dir/name value/opt/hadoop/tmp/value !-- 确保此目录存在且有写权限 -- /property /configurationhdfs-site.xml配置HDFS的副本数伪分布式设为1。configuration property namedfs.replication/name value1/value /property property namedfs.namenode.name.dir/name valuefile://${hadoop.tmp.dir}/dfs/name/value /property property namedfs.datanode.data.dir/name valuefile://${hadoop.tmp.dir}/dfs/data/value /property /configurationmapred-site.xml指定MapReduce运行在YARN框架上。configuration property namemapreduce.framework.name/name valueyarn/value /property /configurationyarn-site.xml配置YARN资源管理器。configuration property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property property nameyarn.nodemanager.env-whitelist/name valueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME/value /property /configurationhadoop-env.sh确保其中的JAVA_HOME设置正确。export JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64格式化HDFS并启动集群# 首次运行前必须格式化NameNode。注意这会清空HDFS所有数据 hdfs namenode -format # 启动HDFS start-dfs.sh # 启动YARN start-yarn.sh使用jps命令查看Java进程应该能看到NameNode,DataNode,ResourceManager,NodeManager等进程。验证安装访问HDFS Web UI:http://localhost:9870访问YARN Web UI:http://localhost:8088如果能正常打开页面恭喜你伪分布式环境搭建成功4. WordCount代码详解理解MapReduce核心环境好了我们来写第一个MapReduce程序——词频统计WordCount。这是Hadoop的“Hello World”。项目结构与依赖创建一个Maven项目在pom.xml中添加Hadoop客户端依赖。dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-client/artifactId version3.3.6/version /dependency完整带注释的Java代码import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import java.io.IOException; import java.util.StringTokenizer; public class WordCount { // Mapper类 // 输入键值对行偏移量, 一行文本 // 输出键值对单词, 1 public static class TokenizerMapper extends MapperLongWritable, Text, Text, IntWritable { private final static IntWritable one new IntWritable(1); private Text word new Text(); Override public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { // 将一行文本拆分成单词 StringTokenizer itr new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); // 输出中间结果每个单词出现一次就标记为1 context.write(word, one); } } } // Reducer类 // 输入键值对单词, [1, 1, 1, ...] 由Shuffle过程收集而来 // 输出键值对单词, 总次数 public static class IntSumReducer extends ReducerText, IntWritable, Text, IntWritable { private IntWritable result new IntWritable(); Override public void reduce(Text key, IterableIntWritable values, Context context) throws IOException, InterruptedException { int sum 0; // 对同一个单词的所有计数值1进行求和 for (IntWritable val : values) { sum val.get(); } result.set(sum); // 输出最终结果 context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf new Configuration(); Job job Job.getInstance(conf, word count); // 设置主类、Mapper类、Reducer类 job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); // 可选Combiner在Map端先做一次局部聚合 job.setReducerClass(IntSumReducer.class); // 设置输出键值类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); // 设置输入和输出路径从命令行参数获取 FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); // 提交作业并等待完成 System.exit(job.waitForCompletion(true) ? 0 : 1); } }关键概念解释Mapper/Reducer的输入输出类型Hadoop定义了Writable序列化接口。LongWritable相当于LongText相当于StringIntWritable相当于Integer。Mapper的输出类型必须和Reducer的输入类型匹配。Shuffle机制这是MapReduce的“神奇”所在。Mapper产生word, 1后框架会自动根据keyword进行分区Partitioning、排序Sorting和分组Grouping然后将相同key的所有value即一堆1发送给同一个Reducer。你在Reducer中看到的IterableIntWritable values就是Shuffle后的结果。5. 运行与测试本地 vs 集群本地测试单机模式无需启动Hadoop集群直接在IDE里运行main方法输入参数为本地文件路径如input.txt output。这用于快速调试业务逻辑。集群提交伪分布式模式# 1. 将输入文件上传到HDFS hdfs dfs -mkdir -p /user/yourname/input hdfs dfs -put local_input.txt /user/yourname/input/ # 2. 将程序打包成JAR例如 wordcount.jar # 3. 使用hadoop命令提交作业到YARN集群 hadoop jar wordcount.jar WordCount /user/yourname/input /user/yourname/output # 4. 查看结果 hdfs dfs -cat /user/yourname/output/part-r-00000关键差异输入输出路径是HDFS路径hdfs://...作业由YARN统一调度资源执行。6. 生产环境避坑指南伪分布式也适用即使是在伪分布式环境下以下问题也经常遇到NameNode格式化失败或元数据损坏现象start-dfs.sh失败NameNode启动不了日志报错元数据相关。原因多次执行hdfs namenode -format会导致集群ID不一致异常关机也可能损坏元数据。解决彻底停止集群stop-all.sh删除Hadoop临时目录${hadoop.tmp.dir}我们之前设为/opt/hadoop/tmp。重新格式化hdfs namenode -format重新启动。注意这会丢失HDFS上所有数据仅用于学习和测试环境重置。任务卡在ACCEPTED状态不动现象在YARN Web UI8088端口看到任务一直是ACCEPTED不运行。原因最常见原因是YARN资源不足。伪分布式下NodeManager可用的内存和CPU核数可能小于任务请求的量。解决修改$HADOOP_HOME/etc/hadoop/yarn-site.xml增加或调整资源设置property nameyarn.nodemanager.resource.memory-mb/name value2048/value !-- 根据你机器内存调整比如分配2GB -- /property property nameyarn.scheduler.minimum-allocation-mb/name value512/value !-- 单个容器最小内存 -- /property property nameyarn.nodemanager.resource.cpu-vcores/name value2/value !-- 根据你机器CPU核数调整 -- /property同时修改mapred-site.xml设置MapReduce任务资源property namemapreduce.map.memory.mb/name value512/value /property property namemapreduce.reduce.memory.mb/name value512/value /property修改后需重启YARNstop-yarn.sh start-yarn.sh。权限问题Permission Denied现象操作HDFS时如hdfs dfs -put报权限错误。原因HDFS有用户权限概念默认用户是启动shell的用户。或者目录所属用户/组不对。解决在hdfs-site.xml中关闭权限检查仅用于测试环境property namedfs.permissions.enabled/name valuefalse/value /property或者以HDFS超级用户身份执行命令如果知道超级用户密码或者使用hdfs dfs -chmod和hdfs dfs -chown修改目录权限。端口被占用Hadoop需要很多端口9000, 9870, 8088, 8042等。如果启动失败检查端口是否被其他程序占用。可以用netstat -tlnp | grep 端口号查看。7. 总结与下一步至此你已经成功搭建了Hadoop伪分布式环境并运行了第一个MapReduce程序。这个环境完全可以支撑你完成大部分毕设的前期开发、算法验证和功能测试。给你的挑战尝试优化你的WordCount程序。自定义Partitioner默认的Partitioner是根据key的哈希值对reduce任务数取模来分区的。你可以尝试实现一个自定义的Partitioner例如将以字母‘a’开头的单词全部分到第一个Reducer其他的分到第二个观察输出文件的变化。使用Combiner我们在代码中已经设置了job.setCombinerClass(IntSumReducer.class)。Combiner可以看作是一个在Map端运行的“迷你Reducer”它能减少Map到Reduce之间的数据传输量。思考一下是否所有场景都适合使用Combiner提示考虑运算的交换律和结合律。Hadoop生态很大但毕设的突破口往往就是从一个能稳定运行的环境和一个跑通的例子开始。希望这篇笔记能帮你扫清入门障碍把精力更多地投入到更有趣的业务逻辑和算法设计上去。动手改改代码看看日志遇到问题多查查社区你会发现分布式计算并没有想象中那么遥远。
