Hadoop环境下HBase的安装部署与操作指南(图文详解)

这篇具有很好参考价值的文章主要介绍了Hadoop环境下HBase的安装部署与操作指南(图文详解)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

引言

HBase是一种基于列存储的分布式数据库系统,它能够快速地存储和处理大规模数据。与传统的关系型数据库不同,HBase采用了分布式的架构,能够实现数据的高可靠性、高可扩展性和高性能。在实际应用中,正确地安装和部署HBase集群是非常重要的。

1、准备环节

1.1设备基本要求

在安装hbase之前,需要虚拟机满足以下几个条件:

1.HBase集群需要依赖Hadoop和Zookeeper,所以 必须保证自己的集群装好了hadoop和zookeeper。在Hadoop中,需要配置HDFS和YARN,以支持HBase的分布式部署和资源管理。在Zookeeper中,需要配置Zookeeper集群,以支持HBase的分布式环境下的协调和管理。
2.存储:HBase需要大量的内存来存储数据,建议虚拟机的磁盘空间不少于100GB。如果虚拟机的存储空间不足,可能会导致HBase无法存储数据或者出现存储空间不足的错误。

3.虚拟化技术:HBase可以在虚拟机中运行,需要选择支持硬件虚拟化的虚拟化技术,例如Hyper-V、VMware等,如图1所示。

HBase安装,Hadoop环境,安装部署指南

  • 图1·更新后的VMware

1.2安装包

在安装和部署HBase时,需要注意Hadoop与HBase的版本兼容性问题。因为HBase依赖于Hadoop的分布式文件系统HDFS和资源管理框架YARN,而且HBase的各个版本都会对Hadoop的版本有一定的要求。如果选用了不兼容的版本,可能会导致HBase无法正常工作或者出现各种错误。

想要快速了解自己使用的hadoop版本与hbase版本是否兼容,可参考下图。
下图没有的,可以打开该网址进行查看:hadoop与hbase版本兼容性查看

本文使用的hadoop版本与hbase版本分别是hadoop-2.7.1,hbase-1.4.8。
需要下载hbase安装包的可以去以下网址:hbase安装包下载

HBase安装,Hadoop环境,安装部署指南

2、修改相关信息

本文所使用的虚拟机来自于队友,与队友使用的机器不是同一台,所以需要修改IP和IP映射。假如你也是从其他渠道取到别人配置好的hadoop与zookeeper环境的虚拟机,记得修改哦,否则导致无法连接网络等一系列问题。

2.1修改ip

输入一下命令,进入ifcfg-ens33这个文件修改ip,所有集群都要改。

进入后按以下说明修改:

1.设置IP,要和你电脑的VMnet8的IP在同一个网段。假设VMnet8的IP是192.168.233.1,子网掩码是255.255.255.0,那么你的IP就可以设置192.168.233.3 ~ 192.168.233.254中的任意一个IP。
2.设置子网掩码,和你电脑VMnet8的子网掩码一致
3.设置网关,默认xxx.XXX.XXx.2,网段和VMnet8一致

vi /etc/sysconfig/network-scripts/ifcfg-ens33

HBase安装,Hadoop环境,安装部署指南
修改完后输入以下命令重启网卡,重启后ping一下外网,能ping通的话就说明成功了。

systemctl restart network

HBase安装,Hadoop环境,安装部署指南

2.2修改ip映射

输入以下命令,编辑/etc/hosts文件,修改ip映射,所有集群都要改,与前面修改好的ip一致。

vi /etc/hosts

HBase安装,Hadoop环境,安装部署指南

3、安装与部署

3.1.上传安装包

将hbase-1.4.8.tar.gz上传到虚拟机的/usr/local路径。
HBase安装,Hadoop环境,安装部署指南

3.2.解压安装包

解压hhbase-1.4.8.tar.gz到当前路径。

tar -xzvf hbase-1.4.8.tar.gz

HBase安装,Hadoop环境,安装部署指南

3.3.配置HBASE_HOME

3.3.1修改hbase-env.sh

进入hbase-1.4.8/conf/路径下,输入以下命令编辑hbase-env.sh文件,配置JAVA环境变量。

vi hbase-env.sh

HBase安装,Hadoop环境,安装部署指南

3.3.2修改core-site.xml

输入以下命令编辑hbase-site.xml文件, 配置文件如下,可直接复制。然后根据实际情况进行修改。

以下是几个比较重要的配置信息说明:

hbase.rootdir
这个目录是region server的共享目录,用来持久化HBase。URL需要是’完全正确’的。例如,要表示hdfs中的’/hbase’目录,namenode 运行在namenode.example.org的9090端口。则需要设置为hdfs://namenode.example.org:9000/hbase。默认情况下HBase是写到/tmp的。不改这个配置,数据会在重启的时候丢失。
默认: file:///tmp/hbase-${user.name}/hbase
hbase.master.port
HBase的Master的端口.
默认: 60000

hbase.master.info.port
HBase Master web 界面端口. 设置为-1 意味着你不想让他运行。
0.98 版本以后默认: 16010 以前是 60010

hbase.cluster.distributed
HBase的运行模式。false是单机模式,true是分布式模式。若为false,HBase和Zookeeper会运行在同一个JVM里面。

hbase.zookeeper.quorum
Zookeeper集群的地址列表,用逗号分割。例如:“host1.mydomain.com,host2.mydomain.com,host3.mydomain.com”.默认是localhost,是给伪分布式用的。要修改才能在完全分布式的情况下使用。如果在hbase-env.sh设置了HBASE_MANAGES_ZK,这些ZooKeeper节点就会和HBase一起启动。

<configuration>
 <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>

  <property>
    <name>hbase:zookeeper.property.dataDir</name>
    <value></value>
  </property>

<property>
        <name>hbase.zookeeper.quorum</name>
         <value>master,slave1,slave2</value>
 </property>


  <property>
    <name>hbase.master.maxclockskew</name>
    <value>180000</value>
  </property>


<property>
     <name>dfs.replication</name>
       <value>2</value>
 </property>


<property>
        <name>hbase.rootdir</name>
         <value>hdfs://master:8020/hbase</value>
 </property>

<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>flase</value>
</property>

<property>
                <name>hbase.master.info.port</name>
                <value>16010</value>
</property>
<property>
  <name>hbase.unsafe.stream.capability.enforce</name>
  <value>false</value>
</property>

</configuration>

3.3.3修改/etc/profile

用以下命令进入/etc/profile文件,编辑hbase的环境变量,然后使用source方法使profile文件生效。

vi /etc/profile
source /etc/profile

HBase安装,Hadoop环境,安装部署指南

3.3.4拷贝文件

使用scp方法,拷贝hbase-1.4.8文件到其他两个集群的/us/local/下。其中,@后面的参数是集群的名称,冒号后面的参数是目标路径。

scp -r hbase-1.4.8 root@slave1:/usr/local

HBase安装,Hadoop环境,安装部署指南

4、启动

启动habse时,由于hbase依赖于hdfs和zookeeper,所以要先启动hadoop和zookeeper,然后再启动hbase。

4.1启动zookeeper

先使用以下命令对所有集群启动zookeeper,然后使用catjps查看所有集群的进程。看到QuorumPeerMain进程表示启动成功了。

zkServer.sh start

HBase安装,Hadoop环境,安装部署指南

4.2启动hdfs

使用以下两条命令启动hdfs进程和yarn服务。

start-dfs.sh
start-yarn.sh

启动hadoop后,进入web端查看是否启动成功,顺便检查HV有无问题。
HBase安装,Hadoop环境,安装部署指南

4.3启动hbase

以上操作都没问题后,我们就来启动hbase。输入以下命令启动。

然后我们使用catjps查看进程时发现,没有相关的进程在,并没有启动成功,先别急,看下一个章节。(假如是把我的配置文件全部复制去配置,也许到这一步可以启动成功了)

start-hbase.sh

HBase安装,Hadoop环境,安装部署指南

5、问题详情及解决方式

5.1.启动报错

进入hbase配置文件路径,编辑hbase-env.sh配置文件,然后把以下圈起来的两行给注释掉,就不会报错了。

HBase安装,Hadoop环境,安装部署指南

5.2.启动后只有一个相关进程

启动成功后,HMater进程却不在,这个进程非常重要,不可以忽视

需要在配置文件hbase-site.xml中添加以下信息。需要添加的信息在3.3.2步骤中,已经给出了,可直接复制。
HBase安装,Hadoop环境,安装部署指南
HBase安装,Hadoop环境,安装部署指南

文章来源地址https://www.toymoban.com/news/detail-860299.html

到了这里,关于Hadoop环境下HBase的安装部署与操作指南(图文详解)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Windows文件部署服务器操作指南

    目录 一、安装步骤教程 1、安装之前的必要条件。 ①虚拟机要有固定的IP地址。 在虚拟机的虚拟网络编辑器中获取子网IP 2、开始安装 ①打开菜单键打开服务器编辑器 ②点击添加角色和功能​ ③然后进行安装操作,一直默认直到下图时勾选文件和存储服务中的文件和iscsi中的

    2024年02月21日
    浏览(38)
  • Linux环境下,针对QT软件工程搭建C++Test单元测试环境的操作指南

    C++Test是Parasoft公司出品的一款可以针对C/C++源代码进行静态分析、单元测试、集成测试的测试工具。本文主要讲解如何在Linux环境下,搭建QT插件版的C++Test测试环境。 1、在官网上下载Linux环境下的QT库和QT Creator: 2、先安装依赖文件: 3、解压QT库安装包: 4、配置(用于生成

    2024年01月19日
    浏览(18)
  • Linux环境下远程访问SVN服务:SVN内网穿透的详细配置与操作指南

    由于文档资料越来越多,将所有资料都存放在自己的电脑上容易混淆,并且也不利于分享。这种情况下,考虑将资料上传SVN统一管理,这样一来其他人也能很方便的查略各种资料。 当SVN安装在局域网内的话,想要远程访问资料库或者代码将会受到限制,为了能从公共网络访问内

    2024年02月11日
    浏览(23)
  • Ubuntu安装配置VNC服务器操作指南

    VNC(Virtual Network Computing)是一种远程桌面协议,它允许用户通过网络连接到远程计算机并以图形化界面进行操作。在Ubuntu操作系统上,您可以安装和配置VNC服务器,以便远程访问和控制您的计算机。本文将为您提供详细的步骤和相应的源代码。 步骤1:安装VNC服务器 首先,您

    2024年02月05日
    浏览(21)
  • 简单操作让你的网站不受恶意流量恶意爬虫威胁!Cloudflare防火墙部署指南

    目前国际有不少网站都挂了Cloudflare服务,Cloudflare主要提供的安全服务是帮助网站阻止来自网络的黑客攻击、垃圾邮件等,并提升网页的浏览速度等。笔者近日在Cloudflare为自己的网站部署好了防火墙(WAF)、抗DDoS等防护,颇有成效,因此给大家介绍一下,帮助大家更轻松地部

    2024年02月22日
    浏览(21)
  • Ubuntu字体安装指南:简单操作,轻松美化你的Linux系统

    在Ubuntu上,字体是用户界面的重要组成部分,能够显著影响系统的视觉效果和用户体验。良好的字体选择与安装可以使系统更加美观和易读。本文将介绍如何在Ubuntu上安装字体,并提供相应的源代码。 第一步:准备字体文件 在开始之前,你需要准备你想要安装的字体文件。

    2024年02月03日
    浏览(19)
  • Hadoop(05) HBase2.5.5安装和编程实践指南

    HBase是一个基于Apache Hadoop的 分布式、可扩展、面向列的NoSQL数据库系统 。它被设计用于处理大规模数据集,并提供快速的读写访问性能。 以下是HBase的一些关键特点和概念: 列存储结构:HBase使用列存储结构,意味着数据被组织成行和列的形式。每个表可以有灵活的列族定义

    2024年02月03日
    浏览(19)
  • 学习Nano编辑器:入门指南、安装步骤、基本操作和高级功能

    1.1 关于Nano编辑器 Nano是一个简单易用的文本编辑器,适用于终端环境。它具有轻量级、快速启动和基本功能的特点,非常适合新手使用。 1.2 Nano的起源和特点 Nano最早是Pico编辑器的克隆版本,后来发展成为一个独立且功能更加强大的编辑器。它具有简洁的用户界面、直观的操

    2024年02月04日
    浏览(14)
  • npm包安装与管理:深入解析命令行工具的全方位操作指南,涵盖脚本执行与包发布流程

    npm,全称为Node Package Manager,是专为JavaScript生态系统设计的软件包管理系统,尤其与Node.js平台紧密关联。作为Node.js的默认包管理工具,npm为开发者提供了便捷的方式来安装、共享、分发和管理代码模块。 npm作为JavaScript世界不可或缺的基础设施,极大地促进了代码复用和协作

    2024年04月12日
    浏览(28)
  • 【Hadoop】创建Hadoop集群(3个节点)—— 安装部署一个3个节点构成的hbase集群

    前言 此实验搭建3个虚拟节点,一个mater,一个slave1,一个slave2 集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但在物理上常在一起。 HDFS集群负责海量数据的存储,集群中的角色主要有: NameNode、DataNode、SecondaryNode YARN集群负责海量数据运算

    2024年02月08日
    浏览(20)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包