Hadoop 1.2.1 简单集群配置

Hadoop 1.2.1 简单集群配置

Tags: Hadoop

摘要

Hadoop安装配置,实验环境是 Ubuntu14.04 x86 。www.digitalocean.com上的1G版本

新开两台机器

集群配置 1个master 1个slave

do账户上新建两台机器

01 master 159.203.241.116
02 slave 104.131.158.198

配置域名A记录
master.javacore.cn
slave.javacore.cn

分别设置 主机名
/etc/hosts
159.203.241.116 master.javacore.cn
104.131.158.198 slave.javacore.cn

分别设置 主机名
/etc/hostname
master.javacore.cn
slave.javacore.cn

安装jdk

master,slave上都要安装

wget -O init.sh https://coding.net/u/javacore/p/dev-env-shell/git/raw/master/init.sh && bash init.sh

环境变量

vi /etc/profile
#export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64  #如果jdk是64位
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-i386
export HADOOP_PREFIX=/root/hadoop-1.2.1
#export HADOOP_HOME=/root/hadoop-1.2.1
#export HADOOP_PREFIX="$HADOOP_HOME"    #1.2.1提示警告,可以用HADOOP_PREFIX代替
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
export PATH="$HADOOP_PREFIX/bin:$JAVA_HOME/bin:$PATH"
#export HADOOP_SSH_OPTS="-p 1234"  #如果ssh的端口不是22

立即生效

. /etc/profile

master安装配置Hadoop

hadoop修改配置文件 5个
01

vi /root/hadoop-1.2.1/conf/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-i386

02

vi /root/hadoop-1.2.1/conf/core-site.xml
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://master.javacore.cn:9000</value>
    </property> 
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/tmp</value>
    </property> 
</configuration>

03

vi /root/hadoop-1.2.1/conf/hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property> 
    <property>
        <name>dfs.name.dir</name>
        <value>/root/hdfs-name</value>
    </property> 
    <property>
        <name>dfs.data.dir</name>
        <value>/root/hdfs-data</value>   
    </property> 
</configuration>

04

vi /root/hadoop-1.2.1/conf/mapred-site.xml
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>master.javacore.cn:9001</value>
    </property> 
</configuration>

05

vi /root/hadoop-1.2.1/conf/masters
master.javacore.cn

vi /root/hadoop-1.2.1/conf/slaves
slave.javacore.cn

SSH连接-免密码

master上执行 ssh-keygen 一路回车
cat /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys

slaves行执行 ssh-keygen 一路回车
然后把master上的 /root/.ssh/authorized_keys 拷贝到 slave上的相同位置

拷贝master上配置好的hadoop到slave上
scp -r /root/hadoop-1.2.1 root@slave.javacore.cn:root

启动Hadoop
cd /root/hadoop-1.2.1/bin/
hadoop namenode -format
start-all.sh

查看启动后的状态

hadoop dfsadmin -report

MapReduce Web页面
http://master.javacore.cn:50030/jobtracker.jsp
下图可以看到1个有效的datanode

HDFS Web页面
http://master.javacore.cn:50070/dfshealth.jsp