Linux基础环境搭建（CentOS7）

admin管理员组

文章数量:1794759

Linux基础环境搭建（CentOS7）

Linux基础环境搭建（CentOS7）-安装Hadoop

---

大家注意以下的环境搭建版本号，如果版本不匹配有可能出现问题！

Linux基础环境搭建（CentOS7）- 虚拟机准备 Linux基础环境搭建（CentOS7）- 安装JDK Linux基础环境搭建（CentOS7）- 安装Hadoop Linux基础环境搭建（CentOS7）- 安装Zookeeper Linux基础环境搭建（CentOS7）- 安装Kafka Linux基础环境搭建（CentOS7）- 安装HBase Linux基础环境搭建（CentOS7）- 安装Scala和Spark Linux基础环境搭建（CentOS7）- 安装Mysql和Hive Linux基础环境搭建（CentOS7）- 安装Sqoop Linux基础环境搭建（CentOS7）- 安装Flume

---

一、Hadoop下载及安装

Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。

Hadoop的下载

Hadoop下载链接：archive.apache/dist/hadoop/common/hadoop-2.7.3/

将下载的安装包通过Xftp传输到Linux虚拟机/opt/software/中

Hadoop的安装

创建工作路径//usr/hadoop，下载hadoop安装包到/opt/software中，然后解压至工作路径。

mkdir /usr/hadoop #首先在根目录下建立工作路径/usr/hadoop cd /opt/software #进入安装包的文件夹 tar -zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop 二、配置Hadoop环境变量（3台） vim /etc/profile

添加如下内容：

#HADOOP export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3 export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib export PATH=$PATH:$HADOOP_HOME/bin

source /etc/profile #使profile生效 三、配置hadoop各组件（配置文件建议直接复制粘贴，防止搞错）

hadoop的各个组件的都是使用XML进行配置，这些文件存放在hadoop的etc/hadoop目录下。

1.hadoop-env.sh cd $HADOOP_HOME/etc/hadoop vim hadoop-env.sh

输入以下内容，修改java环境变量：

export JAVA_HOME=/usr/java/jdk1.8.0_171

键入“Esc”，退出编辑模式，使用命令“:wq”进行保存退出。

2.core-site.xml vim core-site.xml

内容如下：

<configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value> <description>A base for other temporary directories.</description> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <property> <name>fs.checkpoint.period</name> <value>60</value> </property> <property> <name>fs.checkpoint.size</name> <value>67108864</value> </property> </configuration>

master：在主节点的ip或者映射名。

9000：主节点和从节点配置的端口都是9000。

3.mapred-site.xml

hadoop是没有这个文件的，需要将mapred-site.xml.template样本文件复制为mapred-site.xml，对其进行编辑：

cp mapred-site.xml.template mapred-site.xml vim mapred-site.xml

内容如下：

<configuration> <property> <!--指定Mapreduce运行在yarn上--> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 4.yarn-site.xml vim yarn-site.xml

内容如下：

<configuration> <!-- 指定ResourceManager的地址--> <property> <name>yarn.resourcemanager.address</name> <value>master:18040</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:18030</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:18088</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:18025</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:18141</value> </property> <!-- 指定reducer获取数据的方式--> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration> 5.hdfs.site.xml vim hdfs-site.xml

内容如下：

<configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value> <final>true</final> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value> <final>true</final> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>master:9001</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration>

dfs.replication：因为hadoop是具有可靠性的，它会备份多个文本，这里value就是指备份的数量（小于等于从节点的数量）。

6.slaves & master

编写slaves文件，添加子节点slave1和slave2；

vim slaves

编写master文件，添加主节点master。

vim master

四、同步其他虚拟机

分发profile文件，hadoop文件到slave1和slave2节点上

scp -r /etc/profile root@slave1:/etc/profile #将环境变量profile文件分发到slave1节点 scp -r /etc/profile root@slave2:/etc/profile #将环境变量profile文件分发到slave2节点 scp -r /usr/hadoop root@slave1:/usr/ #将hadoop文件分发到slave1节点 scp -r /usr/hadoop root@slave2:/usr/ #将hadoop文件分发到slave2节点

生效两个从节点的环境变量

source /etc/profile #slave1和slave2都要执行 五、格式化hadoop (仅在master中进行操作)

首先查看jps是否启动hadoop，若无才可格式化

hadoop namenode -format

当出现“Exiting with status 0”的时候，表明格式化成功。

六、开启hadoop集群

仅在master主机上开启操作命令。它会带起从节点的启动。（仅在master中进行操作）

cd /usr/hadoop/hadoop-2.7.3 #回到hadoop目录 sbin/start-all.sh #主节点开启服务

master slave1 slave2

注意各个节点的进程区别！ 如果各个节点的进程如上，那么你的hadoop完全分布式搭建完成！

本文标签： 环境基础Linux