经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » Hadoop » 查看文章
Hbase入门(二)——安装与配置
来源:cnblogs  作者:独孤风  时间:2019/9/30 8:51:28  对本文有异议

file

本文讲述如何安装,部署,启停HBase集群,如何通过命令行对Hbase进行基本操作。

并介绍Hbase的配置文件。

在安装前需要将所有先决条件安装完成。

file

一、先决条件

1、JDK

和Hadoop一样,Hbase需要JDK1.6或者更高的版本,所以请安装好JDK并配置环境变量。

Hbase版本与JDK版本

HBase Version JDK 7 JDK 8 JDK 9 (Non-LTS) JDK 10 (Non-LTS) JDK 11
2.0+ HBASE-20264 HBASE-20264 HBASE-21110
1.2+ HBASE-20264 HBASE-20264 HBASE-21110

2、Zookeeper

zookeeper是Hbase集群的协调器,负责解决HMaster的单点问题,所以必须先安装好一个zookeeper。

3、Hadoop

集群模式下,我们需要Hadoop环境

Hadoop 版本支持

  • T = 支持
  • F = 不支持
  • N = 未测试
HBase-1.2.x, HBase-1.3.x HBase-1.4.x HBase-2.0.x HBase-2.1.x
Hadoop-2.4.x T F F F
Hadoop-2.5.x T F F F
Hadoop-2.6.0 F F F F
Hadoop-2.6.1+ T F T F
Hadoop-2.7.0 F F F F
Hadoop-2.7.1+ T T T T
Hadoop-2.8.[0-1] F F F F
Hadoop-2.8.2 N N N N
Hadoop-2.8.3+ N N T T
Hadoop-2.9.0 F F F F
Hadoop-2.9.1+ N N N N
Hadoop-3.0.[0-2] F F F F
Hadoop-3.0.3+ F F T T
Hadoop-3.1.0 F F F F
Hadoop-3.1.1+ F F T T

二、安装与部署

Hbase有两种运行模式,单机模式和分布式模式。

1、单机模式

下载

首先在这里下载Hbase的一个稳定版本,https://www.apache.org/dyn/closer.lua/hbase/

建议点击顶部链接,进入 HBase Releases 点击 stable 的文件夹,然后下载将以 tar.gz 结尾的二进制文件到本地。暂时不要下载以 src.tar.gz 结尾的文件。

file

解压

进入到那个要解压的目录

  1. $ tar xzvf hbase-1.3.5-bin.tar.gz
  2. $ cd hbase-1.3.5/
JAVA_HOME

在启动 HBase 之前,您需要设置JAVA_HOME环境变量。您可以通过操作系统的常用设置来设置变量,HBase 也提供了一个中心机制 conf/hbase-env.sh。编辑此文件,取消注释以JAVA_HOME开头的行,并将其设置为适合您的操作系统的路径。

  1. JAVA_HOME=/usr
hbase-site.xml

编辑 HBase 主配置文件 conf/hbase-site.xml.

您需要在本地文件系统上指定 HBase 和 ZooKeeper 数据存储目录.

  1. <configuration>
  2. <property>
  3. <name>hbase.rootdir</name>
  4. <value>file:///home/testuser/hbase</value>
  5. </property>
  6. <property>
  7. <name>hbase.zookeeper.property.dataDir</name>
  8. <value>/home/testuser/zookeeper</value>
  9. </property>
  10. <property>
  11. <name>hbase.unsafe.stream.capability.enforce</name>
  12. <value>false</value>
  13. <description>
  14. Controls whether HBase will check for stream capabilities (hflush/hsync).
  15. Disable this if you intend to run on LocalFileSystem, denoted by a rootdir
  16. with the 'file://' scheme, but be mindful of the NOTE below.
  17. WARNING: Setting this to false blinds you to potential data loss and
  18. inconsistent system state in the event of process and/or node failures. If
  19. HBase is complaining of an inability to use hsync or hflush it's most
  20. likely not a false positive.
  21. </description>
  22. </property>
  23. </configuration>
启停

bin/start-hbase.sh 为启动 HBase

bin/start-hbase.sh为停止 HBase

可以使用 jps 确认 HMaster 和 HRegionServer 进程是否开启关闭。

2、集群模式

2.1 伪分布式模式

伪分布模式意味着 HBase 仍然在单个主机上完全运行,但是每个 HBase 守护进程(HMaster,HRegionServer 和 ZooKeeper)作为一个单独的进程运行.

使用集群模式前,要保证HDFS可以正常运行。

hbase-site.xml

编辑 HBase 主配置文件 conf/hbase-site.xml.

需要将分布式模式开启 指定hdfs的URI

  1. <property>
  2. <name>hbase.cluster.distributed</name>
  3. <value>true</value>
  4. </property>
  5. <property>
  6. <name>hbase.rootdir</name>
  7. <value>hdfs://localhost:8020/hbase</value>
  8. </property>

使用 bin/start-hbase.sh 启动 HBase. 如果您的系统配置正确,该jps命令应显示 HMaster 和 HRegionServer 进程正在运行。

启动和停止备份 HBase 主(HMaster)服务器

你可以启动最多 9 个备份 HMaster 服务器,这个服务器总共有 10 个 HMaster 计算主服务器。

  1. $ ./bin/local-master-backup.sh start 2 3 5

启动和停止其他 RegionServers

  1. $ .bin/local-regionservers.sh start 2 3 4 5

2.2 完全分布式

实际上,您需要一个完全分布式的配置来全面测试 HBase,并将其用于实际场景中。在分布式配置中,集群包含多个节点,每个节点运行一个或多个 HBase 守护进程。这些包括主要和备份主实例,多个 ZooKeeper 节点和多个 RegionServer 节点。

架构如下:

Node Name Master ZooKeeper RegionServer
node-a.example.com yes yes no
node-b.example.com backup yes yes
node-c.example.com no yes yes

要保证节点有通讯权限,比如配置ssh免密和防火墙权限,并将zookeeper配置好启动。

将Hbase下载并解压,将配置文件同步到各个机器上。

启动集群
  1. $ bin/start-hbase.sh
  2. node-c.example.com: starting zookeeper, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-zookeeper-node-c.example.com.out
  3. node-a.example.com: starting zookeeper, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-zookeeper-node-a.example.com.out
  4. node-b.example.com: starting zookeeper, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-zookeeper-node-b.example.com.out
  5. starting master, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-master-node-a.example.com.out
  6. node-c.example.com: starting regionserver, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-regionserver-node-c.example.com.out
  7. node-b.example.com: starting regionserver, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-regionserver-node-b.example.com.out
  8. node-b.example.com: starting master, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-master-nodeb.example.com.out

3、Web UI

在 HBase 0.98.x 以上, HBase Web UI 的端口从主节点的 60010 和 RegionServer 的 60030 变化为 16010 和 16030

在Hbase启动以后可以通过页面查看。

file

三、Hbase Shell

在 HBase 安装目录 bin/ 目录下使用hbase shell命令连接正在运行的 HBase 实例。

  1. $ ./bin/hbase shell
  2. hbase(main):001:0>
预览 HBase Shell 的帮助文本

输入help并回车, 可以看到 HBase Shell 的基本信息和一些示例命令.

创建表

使用 create创建一个表 必须指定一个表名和列族名

  1. hbase(main):001:0> create 'test', 'cf'
  2. 0 row(s) in 0.4170 seconds
  3. => Hbase::Table - test
表信息

使用 list 查看存在表

  1. hbase(main):002:0> list 'test'
  2. TABLE
  3. test
  4. 1 row(s) in 0.0180 seconds
  5. => ["test"]
使用 describe 查看表细节及配置
  1. hbase(main):003:0> describe 'test'
  2. Table test is ENABLED
  3. test
  4. COLUMN FAMILIES DESCRIPTION
  5. {NAME => 'cf', VERSIONS => '1', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION_BEHAVIOR => 'false', KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE =>
  6. 'false', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', MIN_VERSIONS => '0', REPLICATION_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON_WRITE => 'f
  7. alse', IN_MEMORY => 'false', CACHE_BLOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN => 'false', COMPRESSION => 'NONE', BLOCKCACHE => 'true', BLOCKSIZE
  8. => '65536'}
  9. 1 row(s)
  10. Took 0.9998 seconds
插入数据

使用 put 插入数据

  1. hbase(main):003:0> put 'test', 'row1', 'cf:a', 'value1'
  2. 0 row(s) in 0.0850 seconds
  3. hbase(main):004:0> put 'test', 'row2', 'cf:b', 'value2'
  4. 0 row(s) in 0.0110 seconds
  5. hbase(main):005:0> put 'test', 'row3', 'cf:c', 'value3'
  6. 0 row(s) in 0.0100 seconds
扫描全部数据

从 HBase 获取数据的途径之一就是 scan 。使用 scan 命令扫描表数据。你可以对扫描做限制。

  1. hbase(main):006:0> scan 'test'
  2. ROW COLUMN+CELL
  3. row1 column=cf:a, timestamp=1421762485768, value=value1
  4. row2 column=cf:b, timestamp=1421762491785, value=value2
  5. row3 column=cf:c, timestamp=1421762496210, value=value3
  6. 3 row(s) in 0.0230 seconds
获取一条数据

使用 get 命令一次获取一条数据

  1. hbase(main):007:0> get 'test', 'row1'
  2. COLUMN CELL
  3. cf:a timestamp=1421762485768, value=value1
  4. 1 row(s) in 0.0350 seconds
禁用表

使用 disable 命令禁用表

  1. hbase(main):008:0> disable 'test'
  2. 0 row(s) in 1.1820 seconds
  3. hbase(main):009:0> enable 'test'
  4. 0 row(s) in 0.1770 seconds

使用 enable 命令启用表

  1. hbase(main):010:0> disable 'test'
  2. 0 row(s) in 1.1820 seconds
删除表
  1. hbase(main):011:0> drop 'test'
  2. 0 row(s) in 0.1370 seconds
退出 HBase Shell

使用quit命令退出命令行并从集群断开连接。

四、配置文件详解

Apache HBase 使用与 Apache Hadoop 相同的配置系统。所有配置文件都位于 conf/ 目录中,需要保持群集中每个节点的同步。

  1. backup-masters
  2. 默认情况下不存在。这是一个纯文本文件,其中列出了主服务器应在其上启动备份主进程的主机,每行一台主机。
  3. hadoop-metrics2-hbase.properties
  4. 用于连接 HBase Hadoop Metrics2 框架。默认情况下只包含注释出的示例。
  5. hbase-env.cmd and hbase-env.sh
  6. 用于 Windows Linux/Unix 环境的脚本,以设置 HBase 的工作环境,包括 JavaJava 选项和其他环境变量的位置。该文件包含许多注释示例来提供指导。
  7. hbase-policy.xml
  8. RPC 服务器使用默认策略配置文件对客户端请求进行授权决策。仅在启用 HBase安全模式下使用。
  9. hbase-site.xml
  10. 主要的 HBase 配置文件。该文件指定覆盖 HBase 的默认配置的配置选项。您可以在 docs/hbase-default.xml 中查看(但不要编辑)默认配置文件。您还可以在 HBase Web UI HBase 配置选项卡中查看群集的整个有效配置(默认和覆盖)。
  11. log4j.properties
  12. 通过log4j进行 HBase 日志记录的配置文件。
  13. regionservers
  14. 包含应该在 HBase 集群中运行 RegionServer 的主机列表的纯文本文件。默认情况下,这个文件包含单个条目localhostt。它应该包含主机名或 IP 地址列表,每行一个,如果集群中的每个节点将在其localhost接口上运行 RegionServer 的话,则只应包含localhost

更多实时计算,Hbase,Flink,Kafka等相关技术博文,欢迎关注实时流式计算

file

原文链接:http://www.cnblogs.com/tree1123/p/11606588.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号