1.搭建Hadoop环境需要先安装和测试JDK,具体步骤可以参考

http://blog.csdn.net/zp8126/article/details/78205854

2.下载hadoop-2.6.5.tar.gz

可以在官网下载:http://hadoop.apache.org/#Download+Hadoop

也可以在CSDN下载:http://download.csdn.net/download/zp8126/10016375

3.cd /opt/software进入存放软件包目录。(此目录是自己创建的用来专门存放安装包的目录)

4.使用xshell客户端的rz命令上传到linux服务器(虚拟机安装的linux),界面如下图:

5.cp hadoop-2.6.5.tar.gz /usr/hadoop拷贝文件到/usr/hadoop目录下

6.进入/usr/hadoop/目录

a)tar -xvf hadoop-2.6.5.tar.gz解压到当前目录下

b)cd hadoop-2.6.5进入目录,ls列表查看安装目录下的文件。如下图:

7.切换进入/usr/hadoop/hadoop-2.6.5/etc/hadoop/如下图:

8.vi hadoop-env.sh,添加内容:export JAVA_HOME=/usr/java/jdk1.8.0.144,如下图:

9.$hadoop_home/etc/hadoop目录下执行命令vi core-site.xml,并修改文件core-site.xml,添加内容如下:

<configuration>

<property>

<name>fs.default.name</name>

<!-- zhang为主机名,也可以使用ip-->

<value>hdfs://zhang:9000</value>

</property>

<name>fs.defaultFS</name>

<name>hadoop.tmp.dir</name>

<!--文件临时目录,可以自己指定-->

<value>/hadoop/temp/</value>

</configuration>

10.$hadoop_home/etc/hadoop目录下执行命令vi hdfs-site.xml编辑文件,内容如下:

<name>dfs.replication</name>

<value>1</value>

<name>dfs.name.dir</name>

<value>/hadoop/hdfs/name</value>

<name>dfs.data.dir</name>

<value>/hadoop/hdfs/data</value>

11.$HADOOP_HOME/etc/hadoop目录下查看是否有配置文件mapred-site.xml文件。默认下没此文件,可以通过重命名mv mapred-site.xml.template mapred-site.xml改成此文件名。然后vi mapred-site.xml修改此文件内容:

<name>mapreduce.framework.name</name>

<value>yarn</value>

12.$HADOOP_HOME/etc/hadoop目录下执行命令vi yarn-site.xml,修改内容如下:

<name>yarn.resourcemanager.hostname</name>

<value>zhang</value>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

13.执行命令vi /etc/profile,Hadoop的安装目录配置到环境变量中,

JAVA_HOME=/usr/java/jdk1.8.0_144

HADOOP_HOME=/usr/hadoop/hadoop-2.6.5

PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

CLAsspATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar

export PATH JAVA_HOME CLAsspATH

14.然后执行source /etc/profile,让配置文件生效。

15.格式化NameNode。在任意目录下(配置Hadoop环境变量的情况下)执行命令

Hdfs namenode -format或者hadoop namenode -format,实现格式化。

执行结束后,如图:

16.启动hadoop进程,首先执行start-dfs.sh(注意中间没有空格);没有配置ssh免密登录之前,会不停的需要输入yes和密码,最后界面如图:

17.输入命令service iptables stoo,关闭防火墙后,打开浏览器输入:

http://192.168.1.219:50070/就可以进入如下界面

18.启动yarn,执行start-yarn.sh启动yarn计算进程。

同样在浏览器中:http://192.168.1.219:8088/打开主页面:

19.问题总结

a)在上面配置的一系列*-site.xml中用的主机名都可以更换为ip.

b)如果使用主机名配置时,需要注意修改系统主机名和映射文件

c)修改主机名:vi /etc/sysconfig/network

HOSTNAME=wang

d)配置映射

e)重启reboot,之后就可以使用主机名访问了 ,但是使用主机名访问只能虚拟机内

有效。外部主机访问还是需要ip

f)另外注意:启动yarndfs时,如果不想重复输入密码,则需要进行ssh免密码登录配置。

CentOS6.5下搭建Hadoop环境详细步骤的更多相关文章

  1. 使用 Swift语言进行 Hadoop 数据流应用程序开发

    如果您发现了问题,或者希望为改进本文提供意见和建议,请在这里指出.在您开始之前,请参阅目前待解决的问题清单.简介本项目包括两类Hadoop流处理应用程序:映射器mapper和总结器reducer。如上所示,在Hadoop上编写流处理程序是一个很简单的工作,也不需要依赖于特定的软件体系。

  2. yarn的安装及使用详解

    Yarn 就是一个类似于 npm 的包管理工具,它是由 facebook 推出并开源,与 npm 相比,yarn 有着众多的优势,主要的优势在于:速度快、离线模式、版本控制,这篇文章主要介绍了yarn的安装及使用教程,需要的朋友可以参考下

  3. 创建项目及包管理yarn create vite源码学习

    这篇文章主要为大家介绍了创建项目及包管理yarn create vite源码学习分析,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

  4. 如何使用npm安装yarn详解

    Yarn是一个新的快速安全可信赖的可以替代NPM的依赖管理工具,下面这篇文章主要给大家介绍了关于如何使用npm安装yarn的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下

  5. Yarn的安装与使用详细介绍

    不知道大家有没有觉察到Facebook近年大招频出。Yarn是Facebook最近发布的一款依赖包安装工具。Yarn是一个新的快速安全可信赖的可以替代NPM的依赖管理工具,Yarn正式发布没几天已经迅速达到了数万赞,就可以知道大家苦NPM久已。这篇文章将详细介绍Yarn的安装与使用。

  6. 浅谈vue-cli5关于yarn的一个小坑

    本文主要介绍了vue-cli5关于yarn的一个小坑,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

  7. Node.js包管理器Yarn的入门介绍与安装

    大家都知道在yarn发布之前,所有Nodejs开发者用的都是npm包管理工具,而npm工具存在挺多难以忍受的诟病,包括安装速度慢、每次都要在线重新安装等问题,而yarn也是为了解决npm当前所存在的问题而出现的。本文给大家介绍了包管理器Yarn,以及安装方法。下面来一起看看。

  8. 利用yarn实现一个webpack+react种子

    其实以前就写过如何使用React-router和Webpack快速构建一个react程序。后来发现版本太老,于是乎最近又重新组织了下结构,使用最近发布的yarn作为包管理工具,介绍下基本安装步骤,有需要的朋友们下面来一起看看吧。

  9. yarn的使用与升级Node.js的方法详解

    这篇文章主要给大家介绍了关于yarn的使用与利用yarn升级Node.js的方法,文中介绍的非常详细,对大家具有一定的参考学习价值,需要的朋友们下面来一起看看吧。

  10. 最新hadoop安装教程及hadoop的命令使用(亲测可用)

    这篇文章主要介绍了最新hadoop安装教程(亲测可用),本文主要讲解了如何安装hadoop、使用hadoop的命令及遇到的问题解决,需要的朋友可以参考下

随机推荐

  1. 在airgapped(离线)CentOS 6系统上安装yum软件包

    我有一个CentOS6系统,出于安全考虑,它已经被空气泄漏.它可能从未连接到互联网,如果有,它很长时间没有更新.我想将所有.rpm软件包放在一个驱动器上,这样它们就可以脱机安装而无需查询互联网.但是,我在测试VM上遇到的问题是,即使指定了本地路径,yum仍然会挂起并尝试从在线存储库进行更新.另外,有没有办法使用yum-utils/yumdownloader轻松获取该包的所有依赖项和所有依赖项?目前

  2. centos – 命名在日志旋转后停止记录到rsyslog

    CentOS6.2,绑定9.7.3,rsyslog4.6.2我最近设置了一个服务器,我注意到在日志轮换后,named已停止记录到/var/log/messages.我认为这很奇怪,因为所有日志记录都是通过rsyslog进行的,并且named不会直接写入日志文件.这更奇怪,因为我在更新区域文件后命名了HUPed,但它仍然没有记录.在我停止并重新启动命名后,记录恢复.这里发生了什么?

  3. centos – 显示错误的磁盘大小

    对于其中一个磁盘,Df-h在我的服务器上显示错误的空白区域:Cpanel表明它只有34GB免费,但还有更多.几分钟前,我删除了超过80GB的日志文件.所以,我确信它完全错了.fdisk-l/dev/sda2也显示错误:如果没有格式化,我该怎么做才能解决这个问题?并且打开文件描述符就是它需要使用才能做到这一点.所以…使用“lsof”并查找已删除的文件.重新启动写入日志文件的服务,你很可能会看到空间可用.

  4. 如何在centos 6.9上安装docker-ce 17?

    我目前正在尝试在centOS6.9服务器上安装docker-ce17,但是,当运行yuminstalldocker-ce时,我收到以下错误:如果我用跳过的标志运行它我仍然得到相同的消息,有没有人知道这方面的方法?

  5. centos – 闲置工作站的异常负载平均值

    我有一个新的工作站,具有不寻常的高负载平均值.机器规格是:>至强cpu>256GB的RAM>4x512GBSSD连接到LSI2108RAID控制器我从livecd安装了CentOS6.564位,配置了分区,网络,用户/组,并安装了一些软件,如开发工具和MATLAB.在启动几分钟后,工作站负载平均值的值介于0.5到0.9之间.但它没有做任何事情.因此我无法理解为什么负载平均值如此之高.你能帮我诊断一下这个问题吗?

  6. centos – Cryptsetup luks – 检查内核是否支持aes-xts-plain64密码

    我在CentOS5上使用cryptsetupluks加密加密了一堆硬盘.一切都很好,直到我将系统升级到CentOS6.现在我再也无法安装磁盘了.使用我的关键短语装载:我收到此错误:在/var/log/messages中:有关如何装载的任何想法?找到解决方案问题是驱动器使用大约512个字符长的交互式关键短语加密.出于某种原因,CentOS6中的新内核模块在由旧版本创建时无法正确读取512个字符的加密密钥.似乎只会影响内核或cryptsetup的不同版本,因为在同一系统上创建和打开时,512字符的密钥将起作用

  7. centos – 大量ssh登录尝试

    22个我今天登录CentOS盒找到以下内容这是过去3天内的11次登录尝试.WTF?请注意,这是我从我的提供商处获得的全新IP,该盒子是全新的.我还没有发布任何关于此框的内容.为什么我会进行如此大量的登录尝试?是某种IP/端口扫描?基本上有4名匪徒,其中2名来自中国,1名来自香港,1名来自Verizon.这只发生在SSH上.HTTP上没有问题.我应该将罪魁祸首子网路由吗?你们有什么建议?

  8. centos – kswap使用100%的CPU,即使有100GB的RAM也可用

    >Linux内核是否应该足够智能,只需从内存中清除旧缓存页而不是启动kswap?

  9. centos – Azure将VM从A2 / 3调整为DS2 v2

    我正在尝试调整前一段时间创建的几个AzureVM,从基本的A3和标准A3到标准的DS2v2.我似乎没有能力调整到这个大小的VM.必须从头开始重建服务器会有点痛苦.如果它有所不同我在VM中运行CentOS,每个都有一个带有应用程序和操作系统的磁盘.任何人都可以告诉我是否可以在不删除磁盘的情况下删除VM,创建新VM然后将磁盘附加到新VM?

  10. centos – 广泛使用RAM时服务器计算速度减慢

    我在非常具体的情况下遇到服务器速度下降的问题.事实是:>1)我使用计算应用WRF>2)我使用双XeonE5-2620v3和128GBRAM(NUMA架构–可能与问题有关!

返回
顶部