经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » Hadoop » 查看文章
虚拟机运行Hadoop | 各种问题解决的心路历程
来源:cnblogs  作者:喝着农药吐泡泡o  时间:2023/12/8 11:47:52  对本文有异议

ps:完成大数据技术实验报告的过程,出项各种稀奇古怪的问题。(知道这叫什么吗?经济基础决定上层建筑,我当时配置可能留下了一堆隐患,总之如果有同样的问题,希望可以帮到你)

一、虚拟机网络连接不通的各种情况

我这里遇到的是,三台虚拟机,两台piing百度不同

原因:改了下内存,重启就又未知的网络名称

 解决办法一

vim /etc/sysconfig/network-scripts/ifcfg-ens33

解决办法二

 route -n

发现没有配网关地址

 

 

解决方法三?

查看是否启用vmnet8

 

解决办法四?

重启

 

二、HBase网页无法打开

解决方法一、于是,我手动更改了内存(2gb-4gb)?

 

运行完之后电脑记得重启一下

再接着打开hbase网页就可以正常显示了,所以就是内存的原因

 

三、HMaster自动关闭

原因:启动hmaster后,jps中有hmaster进程,但不一会就自动关闭了

可能的原因:

解决办法一 是否同步虚拟机的时间

无问题

解决办法二 是否关闭所有防火墙

关闭了,但无法解决问题

解决办法三 hbase中的hbase-site.xml文件中的属性值(hbase.rootdir)主机端口是否一致

一致,无问题。

解决办法四 查看是否缺少配置? | 学会看日志!!!

 当我启动所有jps后,出现如下,发现缺少hmaster

 HMaster: HBase的主节点,负责管理RegionServers和处理客户端请求。

因而,我认为应该是没有hmaster的原因

启动后,发现异常

 这可能是由于HMaster启动失败或者无法成功地被识别。

一种可能的原因是启动HBase Master的权限问题,它可能在启动时无法正常执行或者无法被JVM正确地识别。

使用日志进行查看

cat /opt/module/hbase/logs/hbase-hadoop-master-hadoop100.out

 

看起来是SLF4J发现了多个绑定(multiple bindings)的情况

在我的输出中发现了三个可能的绑定:

  1. 位于 /opt/module/hbase/lib/phoenix-client-hbase-2.1-5.1.2.jar 的 Phoenix 的 SLF4J 绑定。
  2. 位于 /opt/module/hbase/lib/phoenix-client-hbase-2.3-5.1.3.jar 的 Phoenix 的 SLF4J 绑定。
  3. 位于 /opt/module/hbase/lib/client-facing-thirdparty/slf4j-log4j12-1.7.30.jar 的 SLF4J 绑定。

在这种情况下,应将不需要的 SLF4J 实现从类路径中删除,或者通过适当的配置来确保只有一个实现被使用。

 删除后,shell可以正常运行了

 四、无法连接到 RegionServer

我真的要疯了,,,,这破玩意多走一步都得让人扶。。。。(当然也怪自己,呵呵呵)

 经验告诉我,我们需要看日志

报错

2023-12-07 21:02:25,268 INFO [master/hadoop100:16000] zookeeper.ZooKeeper: Sess ion: 0x100000135c60001 closed
2023-12-07 21:02:25,268 INFO [main-EventThread] zookeeper.ClientCnxn: EventThre ad shut down for session: 0x100000135c60001
2023-12-07 21:02:25,268 INFO [master/hadoop100:16000] regionserver.HRegionServe r: Exiting; stopping=hadoop100,16000,1701953393292; zookeeper connection closed.
2023-12-07 21:02:25,268 ERROR [main] master.HMasterCommandLine: Master exiting
java.lang.RuntimeException: HMaster Aborted
at org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMaster CommandLine.java:244)
at org.apache.hadoop.hbase.master.HMasterCommandLine.run(HMasterCommandL ine.java:140)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
at org.apache.hadoop.hbase.util.ServerCommandLine.doMain(ServerCommandLi ne.java:149)
at org.apache.hadoop.hbase.master.HMaster.main(HMaster.java:3071)

 

原文链接:https://www.cnblogs.com/gbrr/p/17882256.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号