Hadoop3.3运行环境搭建4-安装Hadoop3.3

一、安装

下载地址：
http://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/

1）用 XShell 文件传输工具将 hadoop-3.1.3.tar.gz 导入到 opt 目录下面的 software 文件夹下面

2）进入到 Hadoop 安装包路径下

[imau@hadoop102 ~]$ cd /opt/software/

3）解压安装文件到/opt/module 下面

[imau@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

4）查看是否解压成功

[imau@hadoop102 software]$ ls /opt/module/

5）将 Hadoop 添加到环境变量

（1）获取 Hadoop 安装路径

[imau@hadoop102 hadoop-3.3.1]$ pwd

/opt/module/hadoop-3.3.1

（2）打开/etc/profile.d/my_env.sh 文件

[imau@hadoop102 $] sudo vim /etc/profile.d/my_env.sh

在 my_env.sh 文件末尾添加如下内容：（shift+g）

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.3.1

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

保存并退出： :wq

（3）让修改后的文件生效

[imau@hadoop102 hadoop-3.3.1]$ source /etc/profile

6）测试是否安装成功

[imau@hadoop102 hadoop-3.3.1]$ hadoop version

7）重启（如果 Hadoop 命令不能用再重启虚拟机）

[atguigu@hadoop102 hadoop-3.3.1]$ sudo reboot

二、Hadoop 目录结构

1）查看 Hadoop 目录结构

2）重要目录

（1）bin 目录：存放对 Hadoop 相关服务（hdfs，yarn，mapred）进行操作的脚本

（2）etc 目录：Hadoop 的配置文件目录，存放 Hadoop 的配置文件

（3）lib 目录：存放 Hadoop 的本地库（对数据进行压缩解压缩功能）

（4）sbin 目录：存放启动或停止 Hadoop 相关服务的脚本

（5）share 目录：存放 Hadoop 的依赖 jar 包、文档、和官方案例

3、 Hadoop 运行模式

1）Hadoop 官方 站：http://hadoop.apache.org/

2）Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式

本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。

伪分布式模式：也是单机运行，但是具备 Hadoop 集群的所有功能，一台服务器模

拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。

完全分布式模式：多台服务器组成分布式环境。生产环境使用。

本地运行模式（官方 WordCount）

1）创建在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹

[imau@hadoop102 hadoop-3.3.1]$ mkdir wcinput

2）在 wcinput 文件下创建一个 word.txt 文件

[imau@hadoop102 hadoop-3.3.1]$ cd wcinput

在文件中输入如下内容

hadoop yarn

hadoop mapreduce

imau

imau

4）回到 Hadoop 目录/opt/module/hadoop-3.3.1

5）执行程序

[imau@hadoop102hadoop-3.3.1] hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount wcinput wcoutput

6）查看结果

[imau@hadoop102 hadoop-3.3.1]$ cat wcoutput/part-r-00000

看到如下结果：

imau 2

hadoop 2

mapreduce 1

yarn 1