hive安装和部署

这篇具有很好参考价值的文章主要介绍了hive安装和部署。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1. Hive地址

1.Hive官网地址 Apache Hive

2.文档查看地址 GettingStarted - Apache Hive - Apache Software Foundation

3.下载地址 Index of /dist/hive

4.github地址 GitHub - apache/hive: Apache Hive

 

2. 前提准备

1.服务器的基础环境

集群时间同步、防火墙关闭、主机Host映射、免密登录、JDK安装

 2.Hadoop集群健康可用

 

启动Hive之前必须先启动Hadoop集群。特别要注意,需等待HDFS安全模式关闭之后再启动运行ive。
Hive不是分布式安装运行的软件,其分布式的特性主要借由Hadoop完成。包括分布式存储、分布式计算。
配置Hive操作Hadoop权限
vi /opt/apps/hadoop-3.1.1/etc/hadoop/core-site.xml 
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>

<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>

<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>

3.MySQL数据库准备

 

因为我们使用远程连接模式,要把元数据存储到Mysql中.
这里直接开启远程权限
1.登录  mysql -uroot  -proot
2.在mysql中设置允许简单密码
  set global validate_password_policy=0;
  set global validate_password_length=1;
3.开放远程连接权限
  grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;
4.刷新权限 
  flush privileges;

这样就开启成功,开启成功后可以在windows上用图形化工具连接一下查看是否成功
补充数据库修改密码命令 SET PASSWORD FOR 'root'@'linux01' = PASSWORD('root'); 

 3. 上传解压

 

将apache-hive-3.1.2.tar.gz上传到linux01的/opt/apps文件夹 可以使用rz命令或者xftp工具
上传后进入到apps文件夹 进行解压
tar -zxvf apache-hive-3.1.2.tar.gz
解压后名称比较长 我们简单修改一下
mv apache-hive-3.1.2-bin hive-3.1.2

如果hadoop版本比较高需要解决Hadoop和hive中guava版本差异(我们用的hadoop版本是3.1.1不需要修改)
在hive的lib文件夹下 guava的jar包版本是19.0  
而高版本的的hadoop的/opt/apps/hadoop-3.1.1/share/hadoop/common/lib
下的guava包是27.0 
可以删除hive下的guava 将hadoop的复制过来

4. 配置HIVE_HOME

 配置hive系统环境变量 让Hive命令可以在任意位置运行

vi /etc/profile  
export  JAVA_HOME=/opt/apps/jdk1.8.0_191
export  HADOOP_HOME=/opt/apps/hadoop-3.1.1
export  HIVE_HOME=/opt/apps/hive-3.1.2
export  PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin

添加完毕后别忘记
source /etc/profile

5. 远程模式配置

 

.修改Hive环境变量文件 添加Hadoop_HOME
                #进入到hive下的conf文件夹
                cd /opt/apps/hive-3.1.2/conf
                #将hive环境变量文件模版 改为可用文件
                mv  hive-env.sh.template  hive-env.sh
                #在最后添加Hadoop_Home
                export HADOOP_HOME=/opt/apps/hadoop-3.1.1
                export HIVE_CONF_DIR=/opt/apps/hive-3.1.2/conf
                export HIVE_AUX_JARS_PATH=/opt/apps/hive-3.1.2/lib

                shift: set nu  将第40行注释打开
                export HADOOP_HEAPSIZE=1024   
      2.创建Hive的核心配置文件 进行配置
            在hive下的conf文件夹下 直接vi一个hive-site.xml
                vi  hive-site.xml 
                详细配置信息 粘贴文档内容 
                
      3.上传MySQL驱动包放入到Hive的lib文件夹下
             将资料中的mysql-connector-java-5.1.47.jar 上传到 /opt/apps/hive-3.1.2/lib

6. hive初始化  

 schematool -initSchema -dbType mysql

7. 启动元数据服务

 

前台启动  
hive --service metastore
如果使用前台启动需要克隆一个session来访问 或者使用ctrl+z挂起到后台 因为元数据服务会一直在前台运行

直接后台启动
hive --service metastore &
这种启动方式 会在后台启动 可以正常访问 但是如果退出终端 就会退出
nohup hive --service metastore & 
这种方式 即使退出终端 服务也会继续运行 启动日志会在当前目录下的 nohup.out中
nohup hive --service metastore 1>/dev/null 2>1 &
这种方式将 启动日志 写入到黑洞 不显示任何内容

/dev/null :代表空设备文件
>  :代表重定向到哪里,例如:echo "123" > /home/123.txt
1  :表示stdout标准输出,系统默认值是1,所以">/dev/null"等同于"1>/dev/null"
2  :表示stderr标准错误输出
&  :表示等同于的意思,2>&1,表示2的输出重定向等同于1


1>/dev/null:首先表示标准输出重定向到空设备文件,也就是不输出任何信息到终端,说白了就是不显示任何信息。
2>&1:接着,标准错误输出重定向标准输出,因为之前标准输出已经重定向到了空设备文件,所以标准错误输出也重定向到空设备文件。


检查启动额端口
netstat -nltp | grep 9083  端口存在说明元数据服务启动成功

 

第二代客户端Beeline

 本地访问

 

先启动Metastore服务  如果已经启动可以忽视
nohup hive --service metastore & 
然后才启动hiveserver2服务 端口号10000 在hive-site.xml中进行的配置
nohup hive --service hiveserver2 &
启动后可以使用netstat -nltp | grep 10000 来进行验证 检查10000端口
查看WEBUI页面http://linux01:10002/

使用beeline命令 进入后输入相关连接的uri
!connect jdbc:hive2://linux01:10000
需要输入用户名 root 密码为空 不输入 直接回车

退出命令 !quit  或者直接ctrl+c

可以使用 beeline -u jdbc:hive2://linux01:10000 -n root

 远程访问

使用其他计算机访问的话首先保证 linux01的Metastore和 hiveserver2都已经启动

上传 解压 不再多说
这里只需要配置 hive-env.sh
export HADOOP_HOME=/opt/apps/hadoop-3.1.1
export HIVE_CONF_DIR=/opt/apps/hive-3.1.2/conf
export HIVE_AUX_JARS_PATH=/opt/apps/hive-3.1.2/lib

由于不直接访问Metastore 所以不需要配置hive-site.xml 直接使用beeline正常访问即可文章来源地址https://www.toymoban.com/news/detail-449570.html

到了这里,关于hive安装和部署的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • Hive安装部署

    Hive安装部署

    1、Hive安装地址 ①Hive官网地址 Apache Hive ②文档查看地址 GettingStarted - Apache Hive - Apache Software Foundation ③下载地址 Index of /dist/hive ④github地址 GitHub - apache/hive: Apache Hive 2、 安装Hive 1)把apache-hive-3.1.3-bin.tar.gz上传到Linux的/opt/software目录下 2)解压apache-hive-3.1.3-bin.tar.gz到/opt/mod

    2024年02月06日
    浏览(10)
  • hive安装和部署

    1.Hive官网地址 Apache Hive 2.文档查看地址 GettingStarted - Apache Hive - Apache Software Foundation 3.下载地址 Index of /dist/hive 4.github地址 GitHub - apache/hive: Apache Hive   1.服务器的基础环境 集群时间同步、防火墙关闭、主机Host映射、免密登录、JDK安装   2.Hadoop集群健康可用   启动Hive之前

    2024年02月05日
    浏览(24)
  • 大数据学习:Hive安装部署

    大数据学习:Hive安装部署

    注意hive就是 一个构建数据仓库的工具 ,只需要在 一台服务器上 安装就可以了,不需要在多台服务器上安装。 此处以安装到node03为例; 请大家保持统一 使用 hadoop普通用户 操作 1.1 先决条件 搭建好三节点Hadoop集群; node03上先安装好MySQL服务; 1.2 准备安装包 下载hive的安装

    2024年02月10日
    浏览(12)
  • 【Hive 01】简介、安装部署、高级函数使用

    【Hive 01】简介、安装部署、高级函数使用

    Hive是建立在 Hadoop上的数据仓库基础构架,它提供了一系列的工具,可以进行数据提取、转化、加载( ETL ) Hive定义了简单的类SQL查询语言,称为HQL,它允许熟悉SQL的用户直接查询Hadoop中的数据 Hive包含SQL解析引擎,它会将SQL语句转译成MR Job,然后在Hadoop中执行 Hive的数据存储

    2024年02月16日
    浏览(26)
  • (十五)大数据实战——hive的安装部署

    (十五)大数据实战——hive的安装部署

    Hive是由Facebook开源,基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本节内容我们主要介绍一下hive的安装与部署的相关内容。 上传hive安装包到hadoop101服务器/opt/software目录 解压apache-hive-3.1.3-bin.tar.gz到/opt/module/目录下 - 命令:

    2024年02月13日
    浏览(7)
  • Hive3.1.3安装及部署

    Hive3.1.3安装及部署

    目录 1 下载地址 2 安装部署 2.1 安装Hive 2.2 启动并使用Hive 2.3 MySQL安装 2.3.1 安装MySQL 2.3.2 配置MySQL 2.3.3 卸载MySQL说明 2.4 配置Hive元数据存储到MySQL 2.4.1 配置元数据到MySQL 2.4.2 验证元数据是否配置成功 2.4.3 查看MySQL中的元数据 2.5 Hive服务部署 2.5.1 hiveserver2服务  2.5.2 metastore服务

    2024年02月09日
    浏览(9)
  • Hive 3.x的安装部署 - Ubuntu

    Hive 3.x的安装部署 - Ubuntu

    写在前面:博主是一只经过实战开发历练后投身培训事业的“小山猪”,昵称取自动画片《狮子王》中的“彭彭”,总是以乐观、积极的心态对待周边的事物。本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域,如今终有小成,愿将昔日所获与大家交流一二

    2024年02月03日
    浏览(8)
  • (十七)大数据实战——Hive的hiveserver2服务安装部署

    (十七)大数据实战——Hive的hiveserver2服务安装部署

    HiveServer2 是 Apache Hive 的一个服务器端组件,用于支持客户端与 Hive 进行交互和执行查询。HiveServer2服务的作用是提供jdbc/odbc接口,为用户提供远程访问Hive数据的功能。HiveServer2 允许多个客户端同时连接并与 Hive 交互。这些客户端可以通过 JDBC、ODBC 或 Thrift API 连接到 HiveServe

    2024年01月17日
    浏览(15)
  • 如何查看jar包的官网地址

    如何查看jar包的官网地址

    使用 artifactId 搜索 点击要查看的版本  查看 HomePage License Apache 2.0 Categories JSON Libraries Tags formatjson Organization Alibaba Group HomePage GitHub - alibaba/fastjson2: 🚄 FASTJSON2 is a Java JSON library with excellent performance. Date May 28, 2023 Files pom (12 KB)  jar (191 KB)  View All Repositories Central Ranking #78 in

    2024年02月09日
    浏览(15)
  • 数据仓库 & Apache Hive

    数据仓库 & Apache Hive

    目录 一、数据分析 1、数据仓库 1.1、数仓专注分析 1.2、数仓主要特征 1.3、数据仓库主流开发语言--SQL 2、Apache Hive 2.1、为什么使用Hive? 2.2、Hive和Hadoop关系 2.3、Hive架构图、各组件功能 2.4、Hive安装部署 2.4.1、Hive概念介绍 2.4.2、安装前准备     数据仓库 (英语:Data Warehous

    2024年01月22日
    浏览(17)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包