Hadoop安装与配置第一步装虚拟机我把hadoop安装需要的文件放在下面大家自行去取百度网盘 请输入提取码提取码8888由于centos镜像文件太大传不上去需要的话可以加我qq:364960241目录第一步装虚拟机第二步配置静态网络关闭防火墙第三步配置主机名配置hosts文件第四步使用SSH传输文件第五步配置SSH免密登录第六步配置时间同步第七步解压jdk包和hadoop包并安装jdk第八步配置jdk和hadoop第九步配置hadoop的系统环境变量第十步hadoop格式化和启动hadoop1.新建虚拟机2.典型下一步选择你的iso镜像文件给你的虚拟机命名选择安装文件位置3.选择一下磁盘大小最后点完成。安装完成之后和跟下面的步骤来当然你也可以选择中文需要选择中文就在下面搜索栏中搜ch选择简体中文即可。选择自动分区root密码设置123456尽量设置简单的为了方便后面的步骤。user用户可以创建也可以不创建如果是gui图形界面就必须要创建了。最后点击重启上面的步骤在slave0和slave1中同样在创建一下。第二步配置静态网络关闭防火墙重启完毕之后就会进入一个linux操作命令行在其中输入root 回车密码回车 登录成功之后 输入命令 ping www.baidu.com查看网络是否能ping通CtrlC停止。输入命令 vi/etc/sysconfig/network-scripts/ifcfg-ens33会进入一个新的命令行按i 进入编辑模式主要改2个。1. BOOTPROTO“dhcp”改为 BOOTPROTO“static”2.ONBOOTno改为ONBOOT“yes”如果已经是yes就不要动它。随后在最后一行添加以下几行东西IPADDR“192.168.56.110”NETMASK“255.255.255.0”GATEWAY“192.168.56.10”DNS1“180.76.76.76”这是master中的在slave0和slave1中同样也是进行一样的操作需要注意的是ip地址的最后要和主机不一样比如master的ip地址最后是110slave0就是111slave就是112完成之后先按esc退出编辑模式在按住shift输入wq 保存并退出。保存退出之后我们需要重启一下服务输入 service network restart然后在ping一下能ping通配置网络这一步就算没有问题了。2.接下来就是关闭防火墙了输入 systemctl stop firewalld 紧接着在输入 systemctl disable firewalld 就关闭了。如果不放心可以输入 systemctl status firewalld 查看一下看到active后面是dead表示关闭成功。这样我们的第二步就算完成了。第三步配置主机名配置hosts文件由于我们还在刚刚配置防火墙那个路径下就先输入cd 进入刚开始的界面然后在master输入命令 hostnamectl set-hostname master在slave0中输入命令hostnamectl set-hostname slave0在slave1中输入命令hostnamectl set-hostname slave1最后都输入reboot重启可以发现登录名已经更改过来了下面开始配置hosts文件先进入 vi /etc/hosts输入如图命令输入wq保存退出 可以输入ping slave0 或者slave1 ping通一下如果能够ping通代表第三步也配置完成了。第四步使用SSH传输文件这一步我们将安装二个软件叫Xshell还有一个xftp 。安装完毕打开这个软件然后根据提示一步一步向下填。填好之后在root目录下传输两个文件如图传好之后输入命令ls 查看第五步配置SSH免密登录首先先生成密钥ssh-keygen -b 1024 -t rsa 一路回车。接下来在master、slave0、slave1分别运行3条代码共9条代码ssh-copy-id masterssh-copy-id slave0ssh-copy-id slave1然后在master、slave0、slave1分别运行1条代码共3条代码chmod 600 authorized/_keys测试各机子之间能不能免密登录 输入命令ssh slave0 如果出现如下图则表示免密登录配置成功要想退出就输入命令exit到了这一步呢我们的免密登录就配置成功了。第六步配置时间同步输入命令 crontab -e 进入一个新的页面在里面输入如下命令然后保存退出0 1 /* /* /* /usr/sbin/ntpdate cn.pool.ntp.org时间同步配置完毕。输入clock可以查看第七步解压jdk包和hadoop包解压的命令tar-xzvf hadoop-2.7.5.tar.gz ,tar-xzvf jdk-8u162-linux-x64.tar.gz解压完成过后可以输入查看命令ls 来查看。第八步配置jdk和hadoop配置之前先装一个vim的编辑器吧:yum install vim -y安装好过后我们就先来配置jdk进入.bash/_profile文件下添加以下内容保存并退出在使用命令 source .bash/_profile 使其生效输入命令java -version出现java的版本则安装成功scp -r jdk1.8.0/_171 rootslave0:~/scp -r jdk1.8.0/_171 rootslave1:~/在master上输入以上两个命令复制到slave0和slave1上接下去就是配置hadoop同样也是先进入要配置文件的地方 cd hadoop2.7.5/etc/hadoop输入ls可以看到许多配置文件我把要配置的几个打出来1core-site.xml2.hadoop-env.sh3.hdfs-site.xml4.yarn.site.xml5.yarn-env.sh6.mapred-site.xml.template( 这个文件配置过后我们要将它改名为mapred-site.xml7.最后还要配置一个slaves 文件配置步骤很简单就是有点繁琐。下面我将文件中的配置内容放在下面各位自行复制1.core-site.xmlfs.default.namehdfs://master:9000hadoop.tmp.dir/root/hadoopdata2.hadoop-env.shexport JAVA/_HOME/root/jdk1.8.0/_1623.hdfs-site.xmldfs.replication24.yarn.site.xmlyarn.resourcemanager.hostnamemasteryarn.nodemanager.aux-servicesmapreduce/_shuffle5.yarn-env.shJAVA/_HOME/root/jdk1.8.0/_1626.mapred-site.xml.templatemapreduce.framework.nameyarn注意的是改完过后需要输入这个命令mv mapred-site.xml.template mapred-site.xml将文件改名7.slavesslave0slave1配置完后 同样要把他们复制到slave0和slave1上scp -r hadoop2.7.5 rootslave0:~/scp -r hadoop2.7.5 rootslave1:~/第九步配置hadoop的系统环境变量将hadoop的环境变量追加到jdk后面source.bash/_profile生效完毕过后 需要在master slave0 salve1 上各创建一个新目录mkdir /root/hadoopdata注意是三台机器都要创建。第十步hadoop格式化和启动hadoop格式化的命令hdfs namenode -format 这个命令只需在master上输入。格式化完毕过后我们启动hadoop 启动hadoop的命令为start-all.sh关闭的命令为 stop-all.sh启动成功输入jps出现下面东西则表示成功我们的hadoop到这里安装就算成功了如果你看到这里或是安装成功给个赞鼓励一下吧 谢谢《网络安全从零到精通全套学习大礼包》96节从入门到精通的全套视频教程免费领取如果你也想通过学网络安全技术去帮助就业和转行我可以把我自己亲自录制的96节 从零基础到精通的视频教程以及配套学习资料无偿分享给你。网络安全学习路线图想要学习 网络安全作为新手一定要先按照路线图学习方向不对努力白费。对于从来没有接触过网络安全的同学我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线大家跟着这个路线图学习准没错。配套实战项目/源码所有视频教程所涉及的实战项目和项目源码学习电子书籍学习网络安全必看的书籍和文章的PDF市面上网络安全书籍确实太多了这些是我精选出来的面试真题/经验以上资料如何领取.jpeg#pic_center)面试真题/经验以上资料如何领取
Hadoop安装与配置
Hadoop安装与配置第一步装虚拟机我把hadoop安装需要的文件放在下面大家自行去取百度网盘 请输入提取码提取码8888由于centos镜像文件太大传不上去需要的话可以加我qq:364960241目录第一步装虚拟机第二步配置静态网络关闭防火墙第三步配置主机名配置hosts文件第四步使用SSH传输文件第五步配置SSH免密登录第六步配置时间同步第七步解压jdk包和hadoop包并安装jdk第八步配置jdk和hadoop第九步配置hadoop的系统环境变量第十步hadoop格式化和启动hadoop1.新建虚拟机2.典型下一步选择你的iso镜像文件给你的虚拟机命名选择安装文件位置3.选择一下磁盘大小最后点完成。安装完成之后和跟下面的步骤来当然你也可以选择中文需要选择中文就在下面搜索栏中搜ch选择简体中文即可。选择自动分区root密码设置123456尽量设置简单的为了方便后面的步骤。user用户可以创建也可以不创建如果是gui图形界面就必须要创建了。最后点击重启上面的步骤在slave0和slave1中同样在创建一下。第二步配置静态网络关闭防火墙重启完毕之后就会进入一个linux操作命令行在其中输入root 回车密码回车 登录成功之后 输入命令 ping www.baidu.com查看网络是否能ping通CtrlC停止。输入命令 vi/etc/sysconfig/network-scripts/ifcfg-ens33会进入一个新的命令行按i 进入编辑模式主要改2个。1. BOOTPROTO“dhcp”改为 BOOTPROTO“static”2.ONBOOTno改为ONBOOT“yes”如果已经是yes就不要动它。随后在最后一行添加以下几行东西IPADDR“192.168.56.110”NETMASK“255.255.255.0”GATEWAY“192.168.56.10”DNS1“180.76.76.76”这是master中的在slave0和slave1中同样也是进行一样的操作需要注意的是ip地址的最后要和主机不一样比如master的ip地址最后是110slave0就是111slave就是112完成之后先按esc退出编辑模式在按住shift输入wq 保存并退出。保存退出之后我们需要重启一下服务输入 service network restart然后在ping一下能ping通配置网络这一步就算没有问题了。2.接下来就是关闭防火墙了输入 systemctl stop firewalld 紧接着在输入 systemctl disable firewalld 就关闭了。如果不放心可以输入 systemctl status firewalld 查看一下看到active后面是dead表示关闭成功。这样我们的第二步就算完成了。第三步配置主机名配置hosts文件由于我们还在刚刚配置防火墙那个路径下就先输入cd 进入刚开始的界面然后在master输入命令 hostnamectl set-hostname master在slave0中输入命令hostnamectl set-hostname slave0在slave1中输入命令hostnamectl set-hostname slave1最后都输入reboot重启可以发现登录名已经更改过来了下面开始配置hosts文件先进入 vi /etc/hosts输入如图命令输入wq保存退出 可以输入ping slave0 或者slave1 ping通一下如果能够ping通代表第三步也配置完成了。第四步使用SSH传输文件这一步我们将安装二个软件叫Xshell还有一个xftp 。安装完毕打开这个软件然后根据提示一步一步向下填。填好之后在root目录下传输两个文件如图传好之后输入命令ls 查看第五步配置SSH免密登录首先先生成密钥ssh-keygen -b 1024 -t rsa 一路回车。接下来在master、slave0、slave1分别运行3条代码共9条代码ssh-copy-id masterssh-copy-id slave0ssh-copy-id slave1然后在master、slave0、slave1分别运行1条代码共3条代码chmod 600 authorized/_keys测试各机子之间能不能免密登录 输入命令ssh slave0 如果出现如下图则表示免密登录配置成功要想退出就输入命令exit到了这一步呢我们的免密登录就配置成功了。第六步配置时间同步输入命令 crontab -e 进入一个新的页面在里面输入如下命令然后保存退出0 1 /* /* /* /usr/sbin/ntpdate cn.pool.ntp.org时间同步配置完毕。输入clock可以查看第七步解压jdk包和hadoop包解压的命令tar-xzvf hadoop-2.7.5.tar.gz ,tar-xzvf jdk-8u162-linux-x64.tar.gz解压完成过后可以输入查看命令ls 来查看。第八步配置jdk和hadoop配置之前先装一个vim的编辑器吧:yum install vim -y安装好过后我们就先来配置jdk进入.bash/_profile文件下添加以下内容保存并退出在使用命令 source .bash/_profile 使其生效输入命令java -version出现java的版本则安装成功scp -r jdk1.8.0/_171 rootslave0:~/scp -r jdk1.8.0/_171 rootslave1:~/在master上输入以上两个命令复制到slave0和slave1上接下去就是配置hadoop同样也是先进入要配置文件的地方 cd hadoop2.7.5/etc/hadoop输入ls可以看到许多配置文件我把要配置的几个打出来1core-site.xml2.hadoop-env.sh3.hdfs-site.xml4.yarn.site.xml5.yarn-env.sh6.mapred-site.xml.template( 这个文件配置过后我们要将它改名为mapred-site.xml7.最后还要配置一个slaves 文件配置步骤很简单就是有点繁琐。下面我将文件中的配置内容放在下面各位自行复制1.core-site.xmlfs.default.namehdfs://master:9000hadoop.tmp.dir/root/hadoopdata2.hadoop-env.shexport JAVA/_HOME/root/jdk1.8.0/_1623.hdfs-site.xmldfs.replication24.yarn.site.xmlyarn.resourcemanager.hostnamemasteryarn.nodemanager.aux-servicesmapreduce/_shuffle5.yarn-env.shJAVA/_HOME/root/jdk1.8.0/_1626.mapred-site.xml.templatemapreduce.framework.nameyarn注意的是改完过后需要输入这个命令mv mapred-site.xml.template mapred-site.xml将文件改名7.slavesslave0slave1配置完后 同样要把他们复制到slave0和slave1上scp -r hadoop2.7.5 rootslave0:~/scp -r hadoop2.7.5 rootslave1:~/第九步配置hadoop的系统环境变量将hadoop的环境变量追加到jdk后面source.bash/_profile生效完毕过后 需要在master slave0 salve1 上各创建一个新目录mkdir /root/hadoopdata注意是三台机器都要创建。第十步hadoop格式化和启动hadoop格式化的命令hdfs namenode -format 这个命令只需在master上输入。格式化完毕过后我们启动hadoop 启动hadoop的命令为start-all.sh关闭的命令为 stop-all.sh启动成功输入jps出现下面东西则表示成功我们的hadoop到这里安装就算成功了如果你看到这里或是安装成功给个赞鼓励一下吧 谢谢《网络安全从零到精通全套学习大礼包》96节从入门到精通的全套视频教程免费领取如果你也想通过学网络安全技术去帮助就业和转行我可以把我自己亲自录制的96节 从零基础到精通的视频教程以及配套学习资料无偿分享给你。网络安全学习路线图想要学习 网络安全作为新手一定要先按照路线图学习方向不对努力白费。对于从来没有接触过网络安全的同学我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线大家跟着这个路线图学习准没错。配套实战项目/源码所有视频教程所涉及的实战项目和项目源码学习电子书籍学习网络安全必看的书籍和文章的PDF市面上网络安全书籍确实太多了这些是我精选出来的面试真题/经验以上资料如何领取.jpeg#pic_center)面试真题/经验以上资料如何领取
