无主题 · 开发技术博客

CentOS 6.5 搭建 Hadoop 2.7.2 伪分布式

环境

  • 操作系统:CentOS release 6.7 (Final)
  • JDK:openjdk version "1.8.0_91"
  • Hadoop:hadoop-2.7.2

Hadoop 下载地址:http://apache.fayea.com/hadoop/common/stable/hadoop-2.7.2.tar.gz

搭建步骤

1.创建用户和用户组

groupadd hadoop
useradd hadoop -g hadoop
passwd hadoop #为用户添加密码

2.安装 ssh

rpm -qa | grep ssh #检查是否安装了SSH包
yum install openssh-server #安装SSH
chkconfig --list sshd #检查SSHD是否设为开机启动
chkconfig --level 2345 sshd on #设置为开机启动
service sshd restart #重新启动ssh服务

3.配置 ssh 登录

切换到hadoop用户

su adoop

生成ssh key

ssh-keygen -t rsa

执行之后会在 .ssh 目录下生成 id_rsa 和 id_rsa.pub 两个文件

进入 .ssh 目录,并将id_rsa.pub添加到 authorized_keys 文件中

cd ~/.ssh
cat id_rsa.pub >> authorized_keys
chmod 600 authorized_keys #修改用户权限

检测是否可以使用 sshkey 自动登陆

ssh localhost #执行后会提示生成证书,输入yes后如果最后一次登录时间则说明成功

4.安装 hadoop

下载 hadoop 二进制文件,并解压缩,我将 hadoop 安装在 /usr/local/hadoop/ 目录中,所以需要先创建一个文件夹

wget http://apache.fayea.com/hadoop/common/stable/hadoop-2.7.2.tar.gz
tar -zxvf hadoop-2.7.2.tar.gz
mkdir -p /usr/local/hadoop
mv hadoop-2.7.2 /usr/local/hadoop/hadoop-2.7.2

配置环境变量

su
vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.2
export PATH=$HADOOP_HOME/bin:$PATH

设置 hadoop-env.sh 中的 java 环境变量

vim /usr/local/hadoop/haoop0-2.7.2/etc/hadoop/hadoop-env.sh

找到 “export JAVA_HOME= ” 在这里配置你的JAVA环境变量

5.配置伪分布式

hadoop 的配置文件主要有 core-site.xml、hdfs-site.xml、yarn-site.xml 三个文件。

cd /usr/local/hadoop/hadoop-2.7.2

core-site.xml

<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
      <value>/usr/local/hadoop/hadoop-2.7.2/tmp</value>
  </property>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://[IP]:9000</value>
  </property>
</configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/hadoop/hadoop-2.7.2/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/hadoop-2.7.2/dfs/data</value>
  </property>
  <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>
</configuration>

yarn-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

创建所需文件夹

cd /usr/local/hadoop/hadoop-2.7.2
mkdir tmp dfs dfs/name dfs/data

给目录增加权限

chmod -R 775 /usr/local/hadoop/hadoop-2.7.2
chown -R hadoop:hadoop /usr/hadoop/hadoop-2.7.2

到这里,所有的配置已经完成

6.运行

首先格式化文件系统

cd /usr/local/hadoop/hadoop-2.7.2
./bin/hdfs namenode -format

启动

./sbin/start-dfs.sh
./sbin/start-yarn.sh

仔细查看提示信息,没有出现ERROR说明配置成功。

可以通过请求 http://[IP]:50070 查看hadoop服务运行状况

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!

¥ 打赏博主
相关文章:
站内评论 新浪微博评论
发表评论
评论(1)
没有看到评论?强制刷新
评论 (1)
引用 (0)
  • 1楼
    http://www.xuchengen.cn/徐叔科技 :

    都开始研究大数据了,我等还在写接口。 :cry: :cry: :cry:

    2016.06.21 20:56 新加坡新加坡 | Windows 10 | Chrome 45.0.2454.101 回复
  • 还没有Trackback