Hadoop安装配置

Veröffentlicht am | Edited on | in | Views:

Hadoop平台安装与配置

一、创建三台虚拟机

1、 为创建好的虚拟机配置网络

使用命令 vi /etc/sysconfig/network-scripts/ifcfg-eth0

重启服务，并验证配置好的网络

2、 使用模板创建另外两台虚拟机

使用实验一中创建的CentOS 6虚拟机，并使用OVF模板创建另外两台虚拟机

二、配置网络

1、 生成MAC地址

由于直接使用OVF模板创建了虚拟机，所以需要为两台模板虚拟机生成MAC地址

2、 修改MAC地址

使用命令 vi /etc/sysconfig/network-scripts/ifcfg-eth0

删除旧网卡规则映射

使用命令 rm /etc/udev/rules.d/70-persistent-net.rules

删除后重启机器

3、 修改ip、子网掩码、网关

使用命令 ifconfig 、 netstat -rn 查看ip、子网掩码、网关地址

修改ip、子网掩码、网关，在网卡配置中增加 IPADDR、NETMASK、GATEWAY

4、重启服务，关闭防火墙

1
2
service network restart
service iptables stop

5、 测试网络

三个虚拟机ip:

1
2
3
CentOS 6     : 192.168.112.129
CentOS 6 - 1 : 192.168.112.130
CentOS 6 - 2 : 192.168.112.131

测试网络：

三、修改hosts

1、分别修改虚拟机hosts文件

使用命令 vi /etc/hosts

四、配置SSH免登录

1、ssh-keygen

使用命令 ssh-kengen

2、配置两两间的免登录

1
2
ssh-copy-id -i .ssh/id_rsa.pub root@Slave1 
ssh-copy-id -i .ssh/id_rsa.pub root@Slave2

五、安装Hadoop平台

1、安装java

2、将下载的java安装包传入虚拟机

3、解压

1
2
tar -zxvf jdk-8u231-linux-x64.tar.gz 
mv ./jdk1.8.0_231 /opt/jdk

4、添加环境变量

vi /etc/profile

1
2
export JAVA_HOME=/opt/jdk
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin

5、安装Hadoop

网址： https://archive.apache.org/dist/hadoop/core/hadoop-2.8.2/

解压后添加环境变量，修改 .bashrc 添加

1
2
export HADOOP_HOME=/opt/hadoop 
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

修改 hadoop-env.sh 和 yarn-env.sh

1
export JAVA_HOME=/opt/jdk

修改 slaves ，添加Slave1、Slave2

修改 core-site.xml

1
2
3
4
5
6
7
8
9
10
<configuration>
	<property>
		<name>fs.defaultFS</name>
        <value>hdfs://Master:9000</value> 
    </property>        
    <property>                
    	<name>hadoop.tmp.dir</name>                
    	<value>/home/hadoop/tmp</value>        
    	</property> 
</configuration>

修改 hdfs-site.xml ， 设置副本数、心跳间隔

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.http.address</name>
                <value>Master:50070</value>
        </property>
                <property>
                <name>dfs.heartbeat.interval</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/home/hadoop/tmp/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/home/hadoop/tmp/data</value>
        </property>
</configuration>

修改 mapred-site.xml

1
2
3
4
5
6
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改 yarn-site.xml

1
2
3
4
5
6
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

格式化文件系统

hdfs namenode -format

启动Hadoop

start-all.sh

查看jps