博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop 搭建3节点集群,遇到Live Nodes显示为0时解决办法
阅读量:6227 次
发布时间:2019-06-21

本文共 3227 字,大约阅读时间需要 10 分钟。

首先,尼玛哥在搭建hadoop 的3节点集群时,安装基本的步骤,配置好以下几个文件

  1. core-site.xml
  2. hadoop-env.sh
  3. hdfs-site.xml
  4. yarn-env.sh
  5. yarn-site.xml
  6. slaves

之后就是格式化NameNode节点,

[root@spark1 hadoop]# hdfs namenode -format

启动hdfs集群

[root@spark1 hadoop]# start-dfs.sh

查询各个节点是否运行成功。

spark1 :

[root@spark1 hadoop]# jps5575 SecondaryNameNode5722 Jps5443 DataNode5336 NameNode

spark2:

[root@spark2 hadoop]# jps1859 Jps1795 DataNode

spark3:

[root@spark3 ~]# jps1748 DataNode1812 Jps

尼玛哥的集群搭建过程核心文件配置没问题,可是,就是在使用50070端口检测的时候,显示livenode为1 ,而且只是spark1 !

于是,经过对问题的排查,发现,最终因为前期配置/etc/ hosts 的时候,配置分别为:

spark1:

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4::1         localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.30.111  spark1

spark2:

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4::1         localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.30.112  spark2

spark3:

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4::1         localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.30.113  spark3

现在,统一改为:

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4::1         localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.30.113  spark3192.168.30.111  spark1192.168.30.112  spaqk2

ok ,问题得到解决

利用 代码 :

[root@spark1 hadoop]# hadoop dfsadmin -report
DEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs command for it.Configured Capacity: 55609774080 (51.79 GB)Present Capacity: 47725793280 (44.45 GB)DFS Remaining: 47725719552 (44.45 GB)DFS Used: 73728 (72 KB)DFS Used%: 0.00%Under replicated blocks: 0Blocks with corrupt replicas: 0Missing blocks: 0-------------------------------------------------Datanodes available: 3 (3 total, 0 dead)Live datanodes:Name: 192.168.30.111:50010 (spark1)Hostname: spark1Decommission Status : NormalConfigured Capacity: 18536591360 (17.26 GB)DFS Used: 24576 (24 KB)Non DFS Used: 2628579328 (2.45 GB)DFS Remaining: 15907987456 (14.82 GB)DFS Used%: 0.00%DFS Remaining%: 85.82%Configured Cache Capacity: 0 (0 B)Cache Used: 0 (0 B)Cache Remaining: 0 (0 B)Cache Used%: 100.00%Cache Remaining%: 0.00%Last contact: Wed Aug 09 05:03:06 CST 2017Name: 192.168.30.113:50010 (spark3)Hostname: spark3Decommission Status : NormalConfigured Capacity: 18536591360 (17.26 GB)DFS Used: 24576 (24 KB)Non DFS Used: 2627059712 (2.45 GB)DFS Remaining: 15909507072 (14.82 GB)DFS Used%: 0.00%DFS Remaining%: 85.83%Configured Cache Capacity: 0 (0 B)Cache Used: 0 (0 B)Cache Remaining: 0 (0 B)Cache Used%: 100.00%Cache Remaining%: 0.00%Last contact: Wed Aug 09 05:03:05 CST 2017Name: 192.168.30.112:50010 (spark2)Hostname: spark2Decommission Status : NormalConfigured Capacity: 18536591360 (17.26 GB)DFS Used: 24576 (24 KB)Non DFS Used: 2628341760 (2.45 GB)DFS Remaining: 15908225024 (14.82 GB)DFS Used%: 0.00%DFS Remaining%: 85.82%Configured Cache Capacity: 0 (0 B)Cache Used: 0 (0 B)Cache Remaining: 0 (0 B)Cache Used%: 100.00%Cache Remaining%: 0.00%Last contact: Wed Aug 09 05:03:05 CST 2017

代码部分,可以看出,连接的datanode 为3个。

分别为 192.168.30.111
192.168.30.112
192.168.30.113

转载于:https://www.cnblogs.com/DeepRunning/p/9205955.html

你可能感兴趣的文章
[ZigBee] 6、ZigBee基础实验——定时器3和定时器4(8 位定时器)
查看>>
Jquery操作cookie
查看>>
Atitit 基于meta的orm,提升加速数据库相关应用的开发
查看>>
Spring:ApplicationContext (2)
查看>>
数据记录筛选
查看>>
windows 10专业版14393.447 64位纯净无广告版系统 基于官方稳定版1607制作 更新于20161112...
查看>>
Python正则表达式学习摘要及资料
查看>>
C++项目中的extern "C" {}
查看>>
Oozie分布式任务的工作流——脚本篇
查看>>
python的分布式爬虫框架
查看>>
Unity3D研究院之使用Animation编辑器编辑动画
查看>>
编译时常量与运行时常量
查看>>
深究JS异步编程模型
查看>>
深度学习常见算法之训练自己的数据
查看>>
Visual Studio2015使用tinyfox2.x作为Owin Host调试教程
查看>>
中国的支付清算体系是怎么玩的?
查看>>
[工具] 全文检索工具推荐
查看>>
java取整和java四舍五入方法 BigDecimal.setScale()方法详解
查看>>
Spring boot中使用springfox来生成Swagger Specification小结
查看>>
python 01
查看>>