{lamp/}

全网首发最详细、手把手保姆级教你使用Vmware搭建基于Linux的Hadoop环境

{mtitle title="教程来自故事与你"/}

有问题请留言

里面用到的软件可以使用自己的版本不一样没有关系，把代码和相关的改成自己的版本就行了，照着自己的改，还有IP地址和账号密码。每个人不一样！！！

我使用的系统和环境软件在下面

{cloud title="hadoop环境软件" type="default" url="https://www.123pan.com/s/gH9DVv-lHZYA.html" password=""/}

CentOS7.9下载地址：
http://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/
我使用的FinalShell工具下载地址：
http://www.hostbuf.com/downloads/finalshell_install.exe
配置模板虚拟机
1.安装带有GUI图形桌面的系统方便后面操作。也可以选择不安装GUI减少内存占用

2.使用root用户登录方便登录

3.打开终端输入 vim/etc/sysconfig/network-scripts/ifcfg-ens33

修改为如下，配置为静态，添加IP和网关、DNS，注意需要nat模式连接主机使用网络

修改主机名

配置模板虚拟机主机名称映射hosts文件

在末尾添加内容：

重启虚拟机，使用命令

reboot

在Vmware里面修改nat的IP和网关然后修改主机nat网卡信息

然后打开主机etc，在C:\Windows\System32\drivers\etc目录下修改hosts文件如下，添加刚刚的信息保存

打开Shell进行连接，如果不搞etc的话需要IP进行连接

安装epel-release插件

yum install -y epel-release

关闭防火墙，关闭防火墙开机自启

systemctl stop firewalld
systemctl disable firewalld.service

卸载虚拟机自带JDK

rpm -qa | grep -i java | xargs -n1 rpm -e –nodeps

重启虚拟机

reboot

通过以上操作模板虚拟机就已经完成了，开始克隆虚拟机，重启好之后关闭虚拟机
选择创建完整克隆，其他的默认或者自己选择，重复使用模板虚拟机重复操作克隆一共三台，

{callout color="#f50505"}
三台电脑配置尽量高一些
{/callout}

开启克隆好的三台虚拟机，修改他们的主机名称和IP地址，都是root登录
配置youzhigui2的IP和主机名

vim /etc/sysconfig/network-scripts/ifcfg-ens33

vim /etc/hostname

重启虚拟机

reboot

youzhigui3和youzhigui4操作步骤一样但是IP和主机名不一样，对照上面自己设置的IP和名字改

在Shell里面添加2-4，方法和上面一样

同时连接

SSH免密登录配置
在youzhigui2和youzhigui3、youzhigui4上生成私钥和公钥，三台电脑一样的操作

ssh-keygen -t rsa

在youzhigui1、youzhigui2、youzhigui3上将公钥拷贝到要免密登录的目标机器，三台电脑一样的操作，需要yes的输入yes然后是密码

ssh-copy-id youzhigui2
ssh-copy-id youzhigui3
ssh-copy-id youzhigui4

集群同步时间，三台电脑操作一边，提前电脑是联网的

export JAVA_HOME=/export/server/jdk1.8.0_321
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

看图片对照格式自己改，命令的格式
scp -r JDK的目录 用户@主机名:对方主机目录

export JAVA_HOME=/export/server/jdk1.8.0_321

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://youzhigui1:8020</value>
</property>

<!-- 设置Hadoop本地保存数据路径 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/export/data/hadoop-3.2.2</value>
</property>

<!-- 设置HDFS web UI用户身份 -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>

<!-- 整合hive 用户代理设置 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>

<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

<!-- 文件系统垃圾桶保存时间 -->
<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>

<!-- 设置SNN进程运行机器位置信息 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>youzhigui2:9868</value>
</property>

<!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

<!-- MR程序历史服务地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>youzhigui1:10020</value>
</property>

<!-- MR程序历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>youzhigui1:19888</value>
</property>

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<configuration>
<!-- 设置YARN集群主角色运行机器位置 -->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>youzhigui1</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 是否将对容器实施物理内存限制 -->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 是否将对容器实施虚拟内存限制。 -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 开启日志聚集 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

<!-- 设置yarn历史服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://youzhigui1:19888/jobhistory/logs</value>
</property>

<!-- 历史日志保存的时间 7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>

</configuration>

分发同步hadoop安装包

对照图片修改，命令格式
scp -r hadoop目录 用户@对方主机名:$PWD

export HADOOP_HOME=/export/server/hadoop-3.2.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

验证一下三台电脑的hadoop，每台电脑输一遍

Hadoop集群启动

（==首次启动==）格式化namenode，

{callout color="#ff0000"}
不能执行多次
{/callout}

看到这句话说明初始化成功了，

{callout color="#f90101"}
只能初始化一次
{/callout}

Hadoop的hdfs的web界面

三台电脑在线

文件系统

Yarn的web界面这里会显示哪些任务在进行，用来监控资源

至此Hadoop集群搭建完毕，如果上面本机host没有配置的话需要IP访问
简单创建文件测试一下


集群不使用，把启动命令的start改成stop关闭然后关闭电脑

到此集群搭建完毕，还有其他功能可以扩展

{lamp/}