【dbeaver】win环境的kerberos认证和Clouders/cdh集群中Kerberos认证使用Dbeaver连接Hive、Impala和Phoenix

这篇具有很好参考价值的文章主要介绍了【dbeaver】win环境的kerberos认证和Clouders/cdh集群中Kerberos认证使用Dbeaver连接Hive、Impala和Phoenix。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、配置Mit kerberos

1.1 下载安装MIT KERBEROS客户端

MIT KERBEROS 下载较新的版本即可。
windows mit kerberos,hive,hadoop,数据仓库
下载之后一路默认安装即可。注意:不要修改软件安装位置。
修改系统环境变量中的Path。将刚刚的安装路径置顶。(不置顶,也要比%JAVA_HOME%\binanaconda相关的高)
windows mit kerberos,hive,hadoop,数据仓库
使用CMD命令确认下:
windows mit kerberos,hive,hadoop,数据仓库

1.2 修改krb5.conf文件并创建krb5.ini配置文件

krb5.conf 一般存储在集群的/etc目录下。
其中conf文件中仅需要保留一下三大项中的内容即可。如果有此项renew_lifetime = 1800d需要删除或注释(行首添加#)

[libdefaults]
... ...
[realms]
... ...
[domain_realm]
... ...

krb5.conf复制一份并改名为krb5.ini即可。krb5.ini是供MIT KERBEROS软件使用的。
修改添加环境变量:
如下两个位置最好不要自定义,都在默认的MIT KERBEROS位置即可。避免不必要的麻烦。
windows mit kerberos,hive,hadoop,数据仓库
KRB5CCNAME是MIT KERBEROS软件自动创建的。

1.3 本地认证kerberos

向管理员索取Keytab文件。
打开打开keytab所在位置。按住shift点击右键点击open cmd windos here,打开CMD窗口。
windows mit kerberos,hive,hadoop,数据仓库

# 获取pricipal
klist -kt xxx.keytab
# 认证授权
kinit -kt xxx.keytab xxx@XXXXX.COM
# 验证下
klist

1.4 验证结果:

windows mit kerberos,hive,hadoop,数据仓库
同时MIT KERBEROS软件也会获取到成功的结果:
windows mit kerberos,hive,hadoop,数据仓库

二、使用Cloudera驱动dbeaver连接Hive(cache方式)

配置dbeaver.ini
增加如下配置

-Djavax.security.auth.useSubjectCredsOnly=false
-Djava.security.krb5.conf=D:/env/Kerberos/krb5.ini
-Dsun.security.krb5.debug=true

编辑驱动

windows mit kerberos,hive,hadoop,数据仓库

编辑URL模板

windows mit kerberos,hive,hadoop,数据仓库

windows mit kerberos,hive,hadoop,数据仓库
windows mit kerberos,hive,hadoop,数据仓库
驱动URL链接模板

-- 注意:KrbAuthType=2;AuthMech=1 是固定的。
jdbc:hive2://{host}[:{port}][/{database}];KrbRealm=XXXXX.COM;KrbHostFQDN={host};KrbServiceName=hive;KrbAuthType=2;AuthMech=1

AuthMech的由来:com.cloudera.hiveserver1.hivecommon.AuthMech
windows mit kerberos,hive,hadoop,数据仓库

KrbAuthType的由来com.cloudera.hiveserver2.hivecommon.KrbAuthType
windows mit kerberos,hive,hadoop,数据仓库

测试连接

windows mit kerberos,hive,hadoop,数据仓库
windows mit kerberos,hive,hadoop,数据仓库

idea连接Hive(cache方式)

添加驱动

windows mit kerberos,hive,hadoop,数据仓库

添加连接

windows mit kerberos,hive,hadoop,数据仓库

# 模板和dbeaver中的一模一样
jdbc:hive2://{host}[:{port}][/{database}];AuthMech=1;KrbRealm=XXXXX.COM;KrbHostFQDN={host};KrbServiceName=hive;KrbAuthType=2
# 分别将{host} 、 [:{port}],[/{database}] 替换为自己的内容即可
示例如下:
jdbc:hive2://abc.com:10000/mydb;KrbRealm=XXXXX.COM;KrbHostFQDN=abc.com;KrbServiceName=hive;KrbAuthType=2;AuthMech=1

windows mit kerberos,hive,hadoop,数据仓库

测试连接

windows mit kerberos,hive,hadoop,数据仓库

三、使用Apache驱动dbeaver连接Hive(cache方式)

配置dbeaver.ini
增加如下配置

-Djavax.security.auth.useSubjectCredsOnly=false
-Djava.security.krb5.conf=D:/env/Kerberos/krb5.ini
-Dsun.security.krb5.debug=true

windows mit kerberos,hive,hadoop,数据仓库mvnrepository

windows mit kerberos,hive,hadoop,数据仓库

编辑驱动下载地址

windows mit kerberos,hive,hadoop,数据仓库

修改URL模板

windows mit kerberos,hive,hadoop,数据仓库

测试连接
windows mit kerberos,hive,hadoop,数据仓库
驱动下载失败处理办法:
windows mit kerberos,hive,hadoop,数据仓库其他报错:
windows mit kerberos,hive,hadoop,数据仓库

四、Phoenix连接

4.1 编写jass.conf

Client {
  com.sun.security.auth.module.Krb5LoginModule required
  useKeyTab=true
  storeKey=true
  useTicketCache=false
  keyTab="D:/xxx/xxx.keytab"
  principal="xxx@XXXXX.COM";
};
com.sun.security.jgss.krb5.initiate {
  com.sun.security.auth.module.Krb5LoginModule required
  renewTGT=false
  doNotPrompt=true
  useKeyTab=true
  keyTab="D:/env/Kerberos/xxx.keytabs"
  principal="xxx@XXXXX.COM"
  storeKey=true
  useTicketCache=false;
};

4.3 修改dbeaver.ini

打开dbeaver安装目录,找到dbeaver.ini文件进行编辑,追添加如下内容

-Djavax.security.auth.useSubjectCredsOnly=false
-Djava.security.krb5.conf=D:\xxx\krb5.conf
-Dsun.security.krb5.debug=true
-Djava.security.auth.login.config=‪‪D:\xxx\jaas.conf

4.4 获取集群配置文件

(1)hadoop的hdfs-site.xmlcore-site.xml配置文件
(2)hbase的hbase-site.xml
使用压缩工具(如360压缩)打开phoenix-5.0.0-cdh6.2.0-client.jar,将以上三个配置文件拖入空白处,即自动保存。

4.5 配置驱动

windows mit kerberos,hive,hadoop,数据仓库

4.6 编辑驱动URL链接模板

windows mit kerberos,hive,hadoop,数据仓库
路径可以在hbase-site.xml中获取

    <property>
      <name>zookeeper.znode.parent</name>
      <value>/hbase-secure</value>
    </property>

4.7 测试

windows mit kerberos,hive,hadoop,数据仓库
windows mit kerberos,hive,hadoop,数据仓库

五、impala连接

下载驱动,参考下文Cloudera驱动下载

编辑驱动

windows mit kerberos,hive,hadoop,数据仓库

编辑URL模板

jdbc:impala://{host}:{port}[/{database}];AuthMech=1;KrbRealm=XXXXX.COM;KrbHostFQDN={host};KrbServiceName=impala

windows mit kerberos,hive,hadoop,数据仓库

测试连接

windows mit kerberos,hive,hadoop,数据仓库

附:Cloudera驱动下载

cloudera官网

1.1 官网页面下载

下载页面 的Database Drivers 挑选比较新的版本即可。
windows mit kerberos,hive,hadoop,数据仓库

1.2 集群下载

Hive可能集群没有驱动包。驱动包名称:HiveJDBC42.jar。41结尾的包也可以使用的。注意Jar包的大小一定是十几MB的。几百KB的是thin包不可用。
windows mit kerberos,hive,hadoop,数据仓库
如下的jar是不可用的。

[root@mycentosprod lib]# ll -h | grep jdbc
-rw-r--r-- 1 root root  116K 99 2021 hive-jdbc-2.1.1-cdh6.2.0.jar

Phoenix 包名称:phoenix-5.0.0-cdh6.2.0-client.jar

-sh-4.2$ ll -h | grep client
-rw-r--r--. 1 root root 137M Dec 22  2022 phoenix-5.0.0-cdh6.2.0-client.jar

五、参考连接:

DBeaver连接phoenix
Kerberos环境下使用Dbeaver链接Phoenix
Windows下Dbeaver连接设置Kerberos后的Hive和Phoenix
idea连接kerberos认证的hive
DBeaver连接hive(详细图解) 参考可以配置dbeaver的驱动下载地址和坐标文章来源地址https://www.toymoban.com/news/detail-783830.html

到了这里,关于【dbeaver】win环境的kerberos认证和Clouders/cdh集群中Kerberos认证使用Dbeaver连接Hive、Impala和Phoenix的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Windows Kerberos客户端配置并访问CDH

    安装 Kerberos 客户端 配置 hosts 1、配置集群 hosts 到 Windows( C:WindowsSystem32driversetchosts ); 2、调整windows环境变量,将系统环境变量 PATH 中的 C:Program FilesMITKerberosbin 放置在最前边,建议放在 JDK 路径之前; 3、验证:需能 ping 通 kdc 机器域名和 IP 地址 下载 MIT Kerberos 链接:

    2024年02月09日
    浏览(17)
  • 大数据之Kerberos认证与kafka开启Kerberos配置

    数据安全 = 认证 + 授权 授权是指用户可以访问的资源,比如:授权用户张三不能访问ods层的表,可以访问dwd层和dws层的表。 再比如java中基于角色的身份认证RBAC(Role-Based Access Control)基于角色的权限控制。通过角色关联用户,角色关联权限的方式间接赋予。比如大数据中使

    2024年02月02日
    浏览(12)
  • Kerberos安全认证-连载11-HBase Kerberos安全配置及访问_kerberos hbase(1)

    这里需要将该值设置为false,否则Hadoop HA 不能正常启动。 skipACL=yes 跳过Zookeeper 访问控制列表(ACL)验证,允许连接zookeper后进行读取和写入。这里建议跳过,否则配置HBase 启动后不能向Zookeeper中写入数据。 这里在node3节点进行zoo.cfg文件的配置,配置完成后,将zoo.cfg文件分发

    2024年04月13日
    浏览(20)
  • Kerberos安全认证-连载10-Hive Kerberos 安全配置及访问

    目录 1.Hive 配置 Kerberos 2. Hive Cli使用Kerberos ​​​​​​​3. Hive beeline使用Kerberos ​​​​​​​​​​​​​​4. JDBC访问Kerberos认证Hive ​​​​​​​5. Spark访问Kerberos认证Hive ​​​​​​​​​​​​​​6. Flink访问Kerberos认证Hive 技术连载系列,前面内容请参考前面

    2024年02月13日
    浏览(15)
  • Kerberos安全认证-连载12-Kafka Kerberos安全配置及访问

    目录 1. Kafka配置Kerberos 2. 客户端操作Kafka ​​​​​​​3. Java API操作Kafka 4. StructuredStreaming操作Kafka 5. Flink 操作Kafka 技术连载系列,前面内容请参考前面连载11内容:​​​​​​​​​​​​​​Kerberos安全认证-连载11-HBase Kerberos安全配置及访问_IT贫道的博客-CSDN博客 Kafk

    2024年02月12日
    浏览(14)
  • Kerberos安全认证-连载11-HBase Kerberos安全配置及访问

    目录 1. Zookeeper Kerberos配置 2. HBase配置Kerberos 3. HBase启动及访问验证 4. HBase Shell操作HBase ​​​​​​​5. Java API操作HBase 技术连载系列,前面内容请参考前面连载10内容:​​​​​​​​​​​​​​Kerberos安全认证-连载10-Hive Kerberos 安全配置及访问_IT贫道的博客-CSDN博客

    2024年02月07日
    浏览(19)
  • Flink支持kerberos认证

    在配置flink任务时,不能通过对单个任务进行kerberos验证,只能在flink-conf文件中进行认证,这样遇到的麻烦就是,每次启动不同任务的时候,都需要进行依赖不同的conf文件 通过在flink github项目中查看,发现有pr提交了代码,可以在flink任务启动之初进行,conf文件加载 通过修改

    2024年02月16日
    浏览(13)
  • 大数据之Kerberos认证

    1、Kerberos 是什么? Kerberos 是一个网络身份验证协议,用于在计算机网络中进行身份验证和授权。它提供了一种安全的方式,允许用户在不安全的网络上进行身份验证,并获取访问网络资源的权限。 2、Kerberos 的基本原理: Kerberos 使用密钥分发中心(Key Distribution Center,KDC)来

    2024年02月14日
    浏览(13)
  • Kerberos认证原理与使用教程

    ​ Kerberos 是一种计算机网络认证协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。 这个词又指麻省理工学院为这个协议开发的一套计算机软件。 软件设计上采用客户端/服务器结构,并且能够进行相互认证,即客户端和服务器端均可对对方进行身份认证。

    2024年02月09日
    浏览(12)
  • CDH大数据平台 22Cloudera Manager Console之azkaban与freeIPA、Kerberos等组合配置(markdown新版三)

    💖个人主页:@与自己作战 💯作者简介: CSDN@博客专家 、 CSDN@大数据领域优质创作者 、 CSDN@内容合伙人 、 阿里云@专家博主 🆘希望大佬们多多支持,携手共进 📝 如果文章对你有帮助的话,欢迎评论💬点赞👍收藏📂加关注 ⛔ 如需要支持请私信我 , 💯 必支持

    2024年02月03日
    浏览(24)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包