Centos7.5服务器搭建Hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop是一个能够对大量数据进行分布式处理的软件框架,Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理搭建Hadoop框架首先要配置JDK环境,其次是Hadoop的相关配置。

JDK的配置

Hadoop配置

1、Hadoop下载

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.4/hadoop-3.1.4.tar.gz

2、解压Hadoop压缩包

tar zxvf hadoop-3.1.4

3、修改etc/hadoop/core-site.xml文件配置

1
2
3
4
5
6
7
8
9
10
11
12
<configuration>
<!-- -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<!-- 缓存存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadooptemp</value>
</property>
</configuration>

4、修改etc/hadoop/hdfs-site.xml文件配置

1
2
3
4
5
6
7
8
9
10
11
12
<configuration>
<!-- 默认为3,由于是单机,所以配置1 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- 配置http访问地址 -->
<property>
<name>dfs.http.address</name>
<value>0.0.0.0:9870</value>
</property>
</configuration>

5、修改etc/hadoop/hadoop-env.sh文件配置

export JAVA_HOME=/usr/local/java/jdk1.8.0_151

注:JAVA_HOME配置自己JDK的所在路径

6、修改etc/hadoop/yarn-env.sh文件配置

export JAVA_HOME=/usr/local/java/jdk1.8.0_151

注:JAVA_HOME配置自己JDK的所在路径

7、修改sbin/stop-dfs.sh文件配置(顶部添加)

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

8、修改sbin/start-dfs.sh文件配置(顶部添加)

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

9、格式化Hadoop(sbin目录下)

./hdfs namenode -format

10、启动Hadoop(sbin目录下)

./start-dfs.sh

11、浏览器输入你的ip:9870出现以下界面则搭建成功
enter image description here

可能遇到的问题

1、如果在搭建过程中出现以下问题
enter image description here
解决办法如下:
start-dfs.shstop-dfs.sh两个文件夹中添加如下配置

#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.shstop-yarn.sh两个文件夹中添加如下配置

#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

重新开始start

0%