资讯 小学 初中 高中 语言 会计职称 学历提升 法考 计算机考试 医护考试 建工考试 教育百科
栏目分类:
子分类:
返回
空麓网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
空麓网 > 计算机考试 > 系统运维 > 运维 > Linux

史上最详细的hadoop安装教程

Linux 更新时间: 发布时间: 计算机考试归档 最新发布

史上最详细的hadoop安装教程

一、引言


首先说明一下,本文的安装教程仅是针对个人的操作经验所写的。可能有些同学安装的时候觉得跟他的不一样,那可能是由于版本不一样所导致的。另外本次分享是基于已经安装了java及配置好了环境。
本机的配置环境如下:
Hadoop(3.1.1)
Ubuntu Linux(64位系统)

  

二、安装ssh服务


ubuntu中默认是没有安装ssh server的,只有 ssh client,可以使用如下命令安装:
sudo apt-get install ssh openssh-server

 默认root用户是无法通过ssh连接到ubuntu的,修改配置文件

vim /etc/ssh/sshd_config   

把 PermitRootLogin yes  按照这个配置


三、安装Hadoop


1.下载Hadoop安装包
可以到如下网址下载:http://apache.stu.edu.tw/hadoop/common/hadoop-3.1.1/

2.解压

把压缩包传到  /usr/local/目录中
使用如下命令解压缩Hadoop安装包:
tar -zxvf hadoop-3.1.1.tar.gz
解压完成之后出现Hadoop-3.1.1的文件下如下:

3.配置Hadoop中相应的文件
我使用的是Hadoop的伪分布式,因此需要配置的文件如下,hadoop-env.sh,core-site.xml,mapred-site.xml.template,hdfs-site.xml,所有的文件均位于hadoop3.1.1/etc/hadoop下面,

具体需要的配置如下:
(1)core-site.xml 配置如下:  目录文件不需要你自己去创建会自动生成。


                
             hadoop.tmp.dir
             file:/home/root/hadoop/tmp
             Abase for other temporary directories.
        
        
             fs.defaultFS
             hdfs://localhost:9000
        

(2)mapred-site.xml.template配置如下:

    把mapred-site.xml.template  复制一份  cp mapred-site.xml.template mapred-site.xml,然后配置

mapred-site.xml这个文件内容



             mapred.job.tracker

             localhost:9001
        



(3)hdfs-site.xml配置如下:


  
             dfs.replication
             1
        
        
             dfs.namenode.name.dir
             file:/home/root/hadoop/tmp/dfs/name
        
        
             dfs.datanode.data.dir
             file:/home/root/hadoop/tmp/dfs/data
        

(4)hadoop-env.sh配置如下:

查看你的  jdk安装目录

echo $JAVA_HOME

export JAVA_HOME="/usr/local/jdk8"

四、运行Hadoop
1.首先你需要初始化HDFS系统
在hadop3.1.1目录下使用如下命令:

bin/hdfs namenode -format



成功之后截图如下:

表示已经初始化完成。
2.开启NameNode和DataNode守护进程
在hadop3.1.1目录下使用如下命令:

sbin/start-dfs.sh


成功之后截图如下:

3.查看进程信息
在hadop3.1.1目录下使用如下命令:

jps


成功之后截图如下:

4.查看Web UI
在浏览器中输入http://localhost:50070,即可查看相关信息。但是有些同学可能出现访问不了50070端口的问题。你可以在终端使用

netstat -ntlp

查看一下服务器启动的端口。

以后关机在启动hadoop只需要执行sbin/start-all.sh就可以启动hadoop了

sbin/start-all.sh

然后一个个尝试,我最终找到的HDFS nameNode 的登陆端口是9870
成功之后的截图如下:

转载请注明:文章转载自 http://www.konglu.com/
本文地址:http://www.konglu.com/it/860943.html
免责声明:

我们致力于保护作者版权,注重分享,被刊用文章【史上最详细的hadoop安装教程】因无法核实真实出处,未能及时与作者取得联系,或有版权异议的,请联系管理员,我们会立即处理,本文部分文字与图片资源来自于网络,转载此文是出于传递更多信息之目的,若有来源标注错误或侵犯了您的合法权益,请立即通知我们,情况属实,我们会第一时间予以删除,并同时向您表示歉意,谢谢!

我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2023 成都空麓科技有限公司

ICP备案号:蜀ICP备2023000828号-2