AutoMQ生态集成 - 将数据从 AutoMQ for Kafka 导入 Databend

这篇具有很好参考价值的文章主要介绍了AutoMQ生态集成 - 将数据从 AutoMQ for Kafka 导入 Databend。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

将数据从 AutoMQ for Kafka 导入 Databend

Databend是使用 Rust 研发、开源的、完全面向云架构、基于对象存储构建的新一代云原生数据仓库,为企业提供湖仓一体化、计算和存储分离的大数据分析平台。

本文将介绍如何通过 bend-ingest-kafka 将数据从 AutoMQ for Kafka 导入 Databend。

info

本文中提及的 AutoMQ Kafka 术语,均特指安托盟丘(杭州)科技有限公司通过 GitHub AutoMQ 组织下开源的 automq-for-kafka 项目。

环境准备​

准备 Databend Cloud 以及测试数据​

首先前往 Databend Cloud 开启你的 Warehouse ,并在 worksheet 中创建数据库库和测试表。

create database automq_db;create table users (    id bigint NOT NULL,    name string NOT NULL,    ts timestamp,    status string)

准备 AutoMQ Kafka 环境和测试数据​

参考 部署 AutoMQ 到 AWS▸ 部署好 AutoMQ Kafka 集群,确保 AutoMQ Kafka 与 Databend Cloud 之间保持网络连通。

在AutoMQ Kafka中快速创建一个名为 example_topic 的主题并向其中写入一条测试 JSON 数据,可以通过以下步骤实现。

创建Topic

使用 Apache Kafka 命令行工具来创建主题。你需要有 Kafka 环境的访问权限,并且确保 Kafka 服务正在运行。以下是创建主题的命令:

./kafka-topics.sh --create --topic exampleto_topic --bootstrap-server 10.0.96.4:9092  --partitions 1 --replication-factor 1

注意:执行命令时,需要将 topic 和 bootstarp-server 替换为实际使用的 Kafka 服务器地址。

创建 topic 之后可以用以下命令检查 topic 创建的结果。

./kafka-topics.sh --describe example_topic --bootstrap-server 10.0.96.4:9092
生成测试数据

生成一条简单的 JSON 格式的测试数据,和前文的表需要对应。

{    "id":1,    "name":"Test User",    "ts":"2023-11-10T12:00:00",    "status":"active"}
写入测试数据

使用 Kafka 的命令行工具或者编程方式将测试数据写入到 example_topic。以下是使用命令行工具的一个示例:

echo '{"id": 1, "name": "测试用户", "ts": "2023-11-10T12:00:00", "status": "active"}' | sh kafka-console-producer.sh --broker-list 10.0.96.4:9092 --topic example_topic

使用如下命令可以查看刚写入的 topic 数据:

sh kafka-console-consumer.sh --bootstrap-server 10.0.96.4:9092 --topic example_topic --from-beginning

创建 bend-ingest-databend job​

bend-ingest-kafka 能够监控 kafka 并将数据批量写入 Databend Table。

部署 bend-ingest-kafka 之后,即可开启数据导入 job。

bend-ingest-kafka --kafka-bootstrap-servers="localhost:9094" --kafka-topic="example_topic" --kafka-consumer-group="Consumer Group" --databend-dsn="https://cloudapp:password@host:443" --databend-table="automq_db.users" --data-format="json" --batch-size=5 --batch-max-interval=30s

note

将 kafka_broker_list 替换为实际使用的 Kafka 服务器地址。

参数说明​

databend-dsn

Databend Cloud 提供的连接到 warehouse 的 DSN,可以参考该文档 获取。

batch-size

bend-ingest-kafka 会积攒到 batch-size 条数据再触发一次数据同步。

验证数据导入​

到 Databend Cloud worksheet 中查询 automq_db.users 表,可以看到数据已经从 AutoMq 同步到 Databend Table。 AutoMQ生态集成 - 将数据从 AutoMQ for Kafka 导入 Databend,云计算,云原生,Kafka,消息,计算,大数据,AWS,AutoMQ,阿里云,腾讯云,GCP

END

关于我们

AutoMQ 是一家专业的消息队列和流存储软件服务供应商。AutoMQ 开源的 AutoMQ Kafka 和 AutoMQ RocketMQ 基于云对 Apache Kafka、Apache RocketMQ 消息引擎进行重新设计与实现,在充分利用云上的竞价实例、对象存储等服务的基础上,兑现了云设施的规模化红利,带来了下一代更稳定、高效的消息引擎。此外,AutoMQ 推出的 RocketMQ Copilot 专家系统也重新定义了 RocketMQ 消息运维的新范式,赋能消息运维人员更好的管理消息集群。 

🌟 GitHub 地址:https://github.com/AutoMQ/automq-for-kafka

💻 官网:https://www.automq.com

👀 B站:AutoMQ官方账号

🔍 视频号:AutoMQ 

👉 扫二维码加入我们的社区群

AutoMQ生态集成 - 将数据从 AutoMQ for Kafka 导入 Databend,云计算,云原生,Kafka,消息,计算,大数据,AWS,AutoMQ,阿里云,腾讯云,GCP

关注我们,一起学习更多云原生干货文章来源地址https://www.toymoban.com/news/detail-793594.html

到了这里,关于AutoMQ生态集成 - 将数据从 AutoMQ for Kafka 导入 Databend的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

原文地址:https://blog.csdn.net/AutoMQ/article/details/135560552

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • springboot 集成 kafka批量消费数据

    yaml配置文件

    2024年02月13日
    浏览(8)
  • Apache Kafka 基于 S3 的数据导出、导入、备份、还原、迁移方案

    博主历时三年精心创作的《大数据平台架构与原型实现:数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建大数据平台太难了!给我发个工程原型吧!》了解图书详情,京东购书链接:https://item.jd.com/12677623.html,扫描左侧

    2024年02月07日
    浏览(13)
  • 实时Flink的数据库与Kafka集成优化案例

    在现代数据处理系统中,实时数据处理和分析是至关重要的。Apache Flink是一个流处理框架,可以用于实时数据处理和分析。在许多场景下,Flink需要与数据库和Kafka等消息系统进行集成,以实现更高效的数据处理。本文将讨论Flink与数据库和Kafka集成的优化案例,并提供实际示

    2024年02月20日
    浏览(11)
  • MQTT 与 Kafka|物联网消息与流数据集成实践

    MQTT (Message Queuing Telemetry Transport) 是一种轻量级的消息传输协议,专为受限网络环境下的设备通信而设计。Apache Kafka 是一个分布式流处理平台,旨在处理大规模的实时数据流。 Kafka 和 MQTT 是实现物联网数据端到端集成的互补技术。通过结合使用 Kafka 和 MQTT,企业可以构建一个

    2024年02月16日
    浏览(8)
  • 如何利用 AsyncAPI 和 Kafka 来提升事件驱动架构下的云端应用数据集成能力,并通过案例学习到 AsyncAPI 的基本用法和如何将其集成到 Kafka 中

    作者:禅与计算机程序设计艺术 在事件驱动架构模式中,消息传递是整个系统的一个基石。很多公司都在推进基于事件驱动架构的云平台,因为它可以有效地解耦并加快应用开发的速度,缩短响应时间,提升弹性。然而,随着云服务的不断发展,如何将事件流转化为业务数据

    2024年02月07日
    浏览(10)
  • SpringBoot集成Flink-CDC 采集PostgreSQL变更数据发布到Kafka

    最近做的一个项目,使用的是pg数据库,公司没有成熟的DCD组件,为了实现数据变更消息发布的功能,我使用SpringBoot集成Flink-CDC 采集PostgreSQL变更数据发布到Kafka。 监听数据变化,进行异步通知,做系统内异步任务。 架构方案(懒得写了,看图吧): -- 创建pg 高线数据同步用

    2024年02月02日
    浏览(11)
  • 玖章算术NineData通过阿里云PolarDB产品生态集成认证

    近日,玖章算术旗下NineData 云原生智能数据管理平台 (V1.0)正式通过了阿里云PolarDB PostgreSQL版 (V11)产品集成认证测试,并获得阿里云颁发的产品生态集成认证。 测试结果表明,玖章算术旗下NineData数据管理平台 (V1.0)与阿里云PolarDB PostgreSQL版(V11),完全满足产品生态集成认

    2024年01月16日
    浏览(9)
  • Bit.Store 加密卡集成主流 BRC20通证,助力 BTC 生态流动性

    “Bit.Store 首创性的将包括 ORDI、SATS、以及 RATS 在内的主流 BRC20 资产集成到其加密卡支付中,通过以其推出的加密银行卡为媒介,助力 BTC 生态 Token 的流动性与消费。” 比特币网络在被设计之初,就是以一种去中心化、点对点的现金系统为定位,旨在打破传统金融体系,并创

    2024年01月20日
    浏览(14)
  • kafka:java集成 kafka(springboot集成、客户端集成)

    摘要 对于java的kafka集成,一般选用springboot集成kafka,但可能由于对接方kafka老旧、kafka不安全等问题导致kafak版本与spring版本不兼容,这个时候就得自己根据kafka客户端api集成了。 一、springboot集成kafka 具体官方文档地址:https://docs.spring.io/spring-boot/docs/current/reference/htmlsingle/

    2023年04月22日
    浏览(14)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包