Hadoop单机/伪分布式集群搭建(新手向)

勿忘初心2018-10-30 09:10


此文已由作者朱笑笑授权网易云社区发布。

欢迎访问网易云社区,了解更多网易技术产品运营经验。



本文主要参照官网的安装步骤实现了Hadoop伪分布式集群的搭建,希望能够为初识Hadoop的小伙伴带来借鉴意义。

环境:

(1)系统环境:CentOS 7.3.1611 64位

(2)Java版本:OpenJDK 1.8.0

配置Hadoop单节点集群前准备

1、创建hadoop用户:

 新建用户用于hadoop使用:

(1)打开终端,输入命令su,回车,输入root的密码以root用户登录,并创建名为hadoop的新用户:

  • useradd -m Hadoop -s /bin/bash


(2)修改用户密码:

  • passwd hadoop


(3)为使用方便,给hadoop用户提升权限,否则hadoop用户在使用sudo命令时会报出:hadoop不在sudoers文件中。此事将被报告;

a. 切换到root用户,查看/etc/sudoers文件权限,默认权限为只读

       


b. 修改/etc/sudoers文件权限为读写权限:chmod 777 /etc/sudoers


 c. 修改/etc/sudoers文件内容,执行visudo或者vim /etc/sudoers


如下图,在 root ALL=(ALL) ALL 这行下面增加一行内容:hadoop ALL=(ALL) ALL (当中的间隔为tab,说明:格式为{用户名 网络中的主机=(执行命令的目标用户) 执行的命令范围}),如下图所示:

     


若要在执行sudo命令时免输入密码,可以将上述添加的内容改为:hadoop ALL=(ALL) NOPASSWD:ALL。

d. 保存退出,恢复/etc/sudoers文件的访问权限为440;

(4)切换至hadoop用户;

2、安装SSH及配置免密码登录

 集群和单节点模式都需要使用SSH登陆,一般情况下,CentOS中默认安装了SSH client、SSH server,可以通过以下命令进行检验:

  • rpm -qa | grep ssh


若已经安装,则返回如下内容,说明已经包含了SSH client和SSH server,无需再安装:

       


 若没有安装SSH client、SSH server,则可以通过yum进行安装:

  • sudo yum install openssh-clients

  • sudo yum install openssh-server


测试SSH是否可用,可输入如下命令:

  • ssh localhost


首次登陆出现如下提示(图中为使用root用户登录,hadoop用户同理),输入yes即可,在用户的主文件夹(/home/用户名)下会生成.ssh目录。然后根据提示输入hadoop用户密码,登陆本机:

      


我们发现每一次使用ssh登录都需要输入密码,为方便起见,配置ssh为免密码登录:

(1)切换为hadoop用户;

(2)利用ssh-keygen生成密钥,并将密钥加入到授权中,修改授权文件权限:

  • cd ~/.ssh/

  • ssh-keygen -t rsa

  • cat id_rsa.pub >>authorized_keys

  • chmod 600 ./authorized_keys


 此时,使用ssh localhost无需密码便可登陆。

3、安装Java环境

Java环境可以选择Oracle的JDK,或者OpenJDK。按照https://wiki.apache.org/hadoop/HadoopJavaVersions中所说,hadoop 2.7版本及以后的版本至少要求Java 7。CentOS 7.3下默认安装了OpenJDK 1.8,但只是Java JRE,不是JDK,为便于开发,建议安装JDK。

建议使用yum进行安装,默认安装路径为/usr/lib/jvm/java-1.8.0-openjdk:

        


安装成功后配置JAVA_HOME环境变量:

  • vim ~/.bashrc


在最后一行添加变量:

        


使环境变量生效:

  • source ~/.bashrc


设置好后检验一下是否正确,输出一下内容则设置正确:

        

安装Hadoop

通过http://www.apache.org/dyn/closer.cgi/hadoop/common/下载Hadoop,这里选择了Hadoop 2.7.3版本,下载时选择hadoop-2.7.3.tar.gz格式,其中src格式的为Hadoop的源代码,需要进行编译后才可使用。

     安装Hadoop至/usr/local/中(也可选择别的路径),Hadoop解压后即可使用:

  • sudo tar -zxf ~/Download/hadoop-2.7.3.tar.gz -C /usr/local

  • cd /usr/local/

  • sudo mv ./hadoop-2.7.3/ ./hadoop 

  • sudo chown -R hadoop:hadoop ./hadoop

     检查Hadoop是否可用:

  • cd /usr/local/hadoop

  • ./bin/hadoop version

说明:若未进行Java的环境变量配置,想要./bin/hadoop执行成功,则需要修改hadoop的etc/hadoop/hadoop-env.sh文件中的JAVA_HOME变量,指定为java路径,如图:

        

至此,Hadoop默认模式即本地模式(单机模式)已经配置成功。

Hadoop伪分布式配置

Hadoop可以在单节点上以伪分布式的方式运行,Hadoop进程以分离的Java进行来运行,节点既作为Namenode也作为DataNode,同时,读取的是Hdfs中的文件。

伪分布式需要修改2个配置文件core-site.xml和hdfs-site.xml,配置文件位于hadoop的/etc/hadoop文件夹下。

修改core-site.xml为:

        


 修改hdfs-site.xml为:

        


 修改配置文件成功后,通过ssh登陆:

        


 执行NameNode的格式化:

        


出现如图情况,表示成功,若“Exitting with status 1”则是出错:

        



 接下去开启NameNode和DataNode守护进程:

        


若出现SSH的提示,输入yes即可:

        


启动完成后,通过jsp来判断是否成功启动,若成功启动则会列出如下进程,如果没有NameNode或DataNode,则表明配置不成功,需要检查上述步骤或通过启动日志排查,日志记录在hadoop的logs文件夹中:

        


成功启动后,可以访问http://localhost:50070来查看NameNode和Datanode信息及HDFS中文件:

        


运行Hadoop伪分布式实例

单机模式grep读取的是本地数据,伪分布式读取的则是Hdfs上的数据。

 执行MR任务需要在Hdfs上创建用户目录,这里<username>为hadoop:

        


在Hdfs上创建input文件夹作为输入内容存放的文件目录,将hadoop中etc/hadoop文件夹中的文件复制到Hdfs中:

        


运行grep任务,伪分布式的MR任务运行方式与单机模式相同,区别在于伪分布式读取的是HDFS中的文件,单机模式是读取本地文件:

        


查看运行结果,即Hdfs中output结果:


        

        


        Hadoop运行程序时,输出目录不能存在,若要再次执行作业,则需要先删除输出文件夹:

  • ./bin/hdfs dfs -rm -r output

        关闭进程:

        


注意:下次启动Hadoop时,则无需再次进行NameNode的初始化,只需要运行./sbin/start-dfs.sh即可。

启动YARN

YARN(Yet Another Resource Negotiator)是新的MapReduce框架,从MapReduce中分离出来,负责资源管理与任务调度。YARN运行于MapReduce之上,提供了高可用性、高扩展性。上述的启动Hadoop仅仅是启动了MapReduce的环境。

启动YARN来进行资源管理和任务调度需要修改几个配置:

 修改配置mapred-site.xml,首先将etc/hadoop/mapred-site.xml.template重名,然后修改配置:


         


修改yarn-site.xml配置:

        


     配置完成后可以启动YARN,通过执行hadoop中./sbin/start-yarn.sh脚本来启动(执行前先执行./sbin/start-dfs.sh):

        


启动后通过jps查看,可以看到多了NodeManager和ResourceManager两个后台进行,如图:

        


开启历史服务器,便于在Web中查看任务运行情况:

     


启动YARN后,运行实例方法与上述一样。观察日志信息可以发现,不启动YARN时,是“mapred.LocalJobRunner”在跑任务,启用YARN之后,是“mapred.YARNRunner”在跑任务。启动YARN可以通过Web界面查看任务的运行情况:http://localhost:8088/cluster,如图:


     

     


关闭YARN和历史服务器:

  


注意:若不想启动YARN,需要将mapred-site.xml重命名,改回mapred-site.xml.template.

Hadoop环境变量配置

上述内容中,我们都是通过先进入到/usr/local/hadoop目录中,再执行./sbin/[执行脚本]或./bin/[执行脚本],为便于平时的操作方便,我们可以配置Path环境变量来简化我们的操作,配置如下,完成后便可直接执行hadoop中./sbin和./bin目录下的脚本:

 


网易云免费体验馆,0成本体验20+款云产品! 

更多网易技术、产品、运营经验分享请点击

相关文章:
【推荐】 MySQL MGR集群搭建