教你玩Hadoop分布式集群,大数据

< > >
作者:

终于开始发挥大数据在Hadoop生态几乎不知道的太多了,现在需要充分利用它来赶鸭子上架,做数据中心,这是我的第一篇文章HACCP,估计以后会写文章很多大数据相关。
构建Hadoop有三种方法。单机版适合于开发和调试,伪分布式版本适用于模拟集群学习,完全分布式,采用生产方式。本文描述了如何构建一个完全分布式的Hadoop集群、一个主节点和三个数据节点来解释。
>强>基本环境>强> > > >
环境准备 > > >
强> 1,软件版本 > >

四服务器配置,系统:centos6.5,内存:1G,硬盘:20g


IP地址由
四服务器分配:192.168.0.71 / 72 / 73 / 74 / P > <

规划:71用于Hadoop主主节点,和其他三个数据节点72, 73和74 hadoop-salve1 ~ 3


JDK和代坚持用


Hadoop使用2.7.3版本下载地址:HTTP:/ / Apache Hadoop。claz。org / / / hadoop-2.7.3 / hadoop-2.7.3。焦油。广州


强> 2,主机配置和主机名(四)强> > > >
修改四个服务器的主机文件 > >
<
192.168.0.71 Hadoop主
192.168.0.72 hadoop-slave1
192.168.0.73 hadoop-slave2
192.168.0.74 hadoop-slave3

,STA的服务器主机名称分别为:主机名、硕士为例,


VI / etc / sysconfig /网络
主机名为Hadoop主

执行重启后生效,然后改变其他药膏服务器依次为:hadoop-slave1 ~ 3。

3、服务器安装JDK(四)


建议使用yum安装JDK,你可以下载并安装

你自己
百胜Y安装java-1.7.0-openjdk *
<配置环境变量并修改配置文件
出口java_home = /usr/lib JVM / jre-1.7.0-openjdk.x86_64
出口路径= java_home美元/斌:$路径
出口类路径:java_home美元/ lib / DT。罐:java_home美元/ lib /工具。罐

使用源命令立即实施


<源文件/概要文件
强>自由降落>强> > > >
强> 1。首先关闭四服务器的防火墙和SELinux


查看防火墙状态 >
服务iptables状态
关闭防火墙
iptables服务停止
chkconfig iptables 关闭
P > <关闭SELinux后,服务器

需要重新启动
--关闭SELinux /跨度> <
# vim /etc/ SELinux /配置
<
# SELinux =执行
# selinuxtype =目标
<
SELinux =禁用
强> >两个,无密码登录到本机 > > >
下面,我们将配置无密码的Hadoop主机来解释。用户需要参照以下步骤完成机器的h-salve1 ~ 3三个子节点机没有输入密码;


密钥的生成(p>p>1)
ssh-keygen -

2)追加公共密钥的“authorized_keys”文件


猫~ /。SSH / id_rsa.pub &gt;&gt;~ /。SSH / authorized_keys
3)授予权限 >
chmod 600。SSH / authorized_keys
> 4)验证该函数是否无密码访问
< ssh

最后,配置h-salve1 ~ 3密码免费使用

反过来

两,Hadoop的主人,机器有无密码登录hadoop-slave1,hadoop-slave2,hadoop-slave3,Hadoop主不登录hadoop-slave1,例如,解释密码:


1)登录到hadoop-slave1,复制公钥”id_rsa。酒吧”的Hadoop主服务器的“根”的hadoop-slave1服务器目录。
SCP根@ Hadoop主:/根/。SSH / id_rsa.pub /根/

2)追加Hadoop主的公共密钥(id_rsa。酒吧)的hadoop-slave1的authorized_keys


猫id_rsa.pub &gt;&gt;SSH / authorized_keys。
RM -射频id_rsa。酒吧
3)在Hadoop主机上测试 >
SSH hadoop-slave1

三、配置hadoop-slave1 ~ hadoop-slave3本机无密码登录Hadoop主



,我们采取hadoop-slave1例如登录到Hadoop主没有密码。例如,用户需要参考以下步骤来完成hadoop-slave2 ~ hadoop-slave3密码免费登录Hadoop主。

1)登录到Hadoop的大师,复制公钥”id_rsa。酒吧”的hadoop-slave1服务器“/根/目录”Hadoop主服务器。
SCP根@ hadoop-slave1:/根/。SSH / id_rsa.pub /根/

2)添加公钥(id_rsa。酒吧)的hadoop-slave1到一

资料全部来自网络,如果有问题可以发邮件到站长邮箱