Idea本地跑flink任务时，总是重复消费kafka的数据（kafka-＞mysql）

1年前作者：Better~Me分类：Toy博客阅读(11)违法举报

这篇具有很好参考价值的文章主要介绍了Idea本地跑flink任务时，总是重复消费kafka的数据（kafka-＞mysql）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Idea本地跑flink任务时，总是重复消费kafka的数据（kafka-＞mysql）,Flink入门及实战,intellij-idea,flink,kafka
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
Idea中执行任务时，没法看到JobManager的错误，以至于我以为是什么特殊的原因导致任务总是反复消费。在close方法中，增加日志，发现jdbc连接被关闭了。重新消费，jdbc连接又启动了。

注意，在Flink的函数中，open和close方法只在任务启动和结束的时候执行一次。反之，可以推理出，如果close方法被执行了，那么说明任务挂了。
在本地任务中增加本地Flink UI，很明显可以看到任务在不断的重启。JobManager中有明显的Exception，就是文章来源地址https://www.toymoban.com/news/detail-726963.html

SQLSyntaxErrorException: Unknown column 'day_after_back' in 'field list'

到了这里，关于Idea本地跑flink任务时，总是重复消费kafka的数据（kafka-＞mysql）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

轻松通关Flink第24讲：Flink 消费 Kafka 数据业务开发
在上一课时中我们提过在实时计算的场景下，绝大多数的数据源都是消息系统，而 Kafka 从众多的消息中间件中脱颖而出，主要是因为高吞吐、低延迟的特点；同时也讲了 Flink 作为生产者像 Kafka 写入数据的方式和代码实现。这一课时我们将从以下几个方面介绍 Flink 消费
2024年02月08日
浏览(12)
Flink使用 KafkaSource消费 Kafka中的数据
目前，很多 flink相关的书籍和网上的文章讲解如何对接 kafka时都是使用的 FlinkKafkaConsumer，如下：新版的 flink，比如 1.14.3已经将 FlinkKafkaConsumer标记为 deprecated（不推荐）,如下：新版本的 flink应该使用 KafkaSource来消费 kafka中的数据，详细代码如下：开发者在工作中应该尽量避
2024年02月15日
浏览(11)
掌握实时数据流：使用Apache Flink消费Kafka数据
导读：使用Flink实时消费Kafka数据的案例是探索实时数据处理领域的绝佳方式。不仅非常实用，而且对于理解现代数据架构和流处理技术具有重要意义。 Apache Flink 是一个在有界数据流和无界数据流上进行有状态计算分布式处理引擎和框架。Flink 设计旨
2024年02月03日
浏览(14)
流批一体计算引擎-4-[Flink]消费kafka实时数据
Python3.6.9 Flink 1.15.2消费Kafaka Topic PyFlink基础应用之kafka 通过PyFlink作业处理Kafka数据 PyFlink需要特定的Python版本，Python 3.6, 3.7, 3.8 or 3.9。 1.3.1 python3和pip3的配置一、系统中安装了多个版本的python3 。二、环境变量path作用顺序三、安装Pyflink 1.3.2 配置Flink Kafka连接 (1)在https://mvnr
2024年02月06日
浏览(15)
【Flink-Kafka-To-RocketMQ】使用 Flink 自定义 Sink 消费 Kafka 数据写入 RocketMQ
这里的 maven 依赖比较冗余，推荐大家都加上，后面陆续优化。注意： 1、此程序中所有的相关配置都是通过 Mysql 读取的（生产环境中没有直接写死的，都是通过配置文件动态配置），大家实际测试过程中可以将相关配置信息写死。 2、此程序中 Kafka 涉及到了 Kerberos 认证操作
2024年02月03日
浏览(12)
flink如何初始化kafka数据源的消费偏移
我们知道在日常非flink场景中消费kafka主题时，我们只要指定了消费者组，下次程序重新消费时是可以从上次消费停止时的消费偏移开始继续消费的，这得益于kafka的_offset_主题保存的关于消费者组和topic偏移位置的具体偏移信息,那么flink应用中重启flink应用时，flink是从topic的什
2024年02月16日
浏览(15)
实战Flink Java api消费kafka实时数据落盘HDFS
在Java api中，使用flink本地模式，消费kafka主题，并直接将数据存入hdfs中。 flink版本1.13 kafka版本0.8 hadoop版本3.1.4 为了完成 Flink 从 Kafka 消费数据并实时写入 HDFS 的需求，通常需要启动以下组件：确保 Zookeeper 在运行，因为 Flink 的 Kafka Consumer 需要依赖 Zookeeper。确保 Kafka Serve
2024年01月24日
浏览(13)
Kafka重复消费、Dubbo重复调用问题排查
本业务为车机流量充值业务，大致流程为：收到微信、支付宝端用户支付成功回调后，将用户订单信息发送至kafka中；消费者接收到kafka中信息后进行解析，处理用户订单信息，为用户订购相关流量包（调用电信相关接口），订购成功/失败后会通过MQTT发送订购成功
2024年03月24日
浏览(7)
4.3、Flink任务怎样读取Kafka中的数据
目录 1、添加pom依赖 2、API使用说明 3、这是一个完整的入门案例 4、Kafka消息应该如何解析 4.1、只获取Kafka消息的value部分 4.2、获取完整Kafka消息(key、value、Metadata) 4.3、自定义Kafka消息解析器 5、起始消费位点应该如何设置 5.1、earliest() 5.2、latest() 5.3、timestamp() 6、Kafka分区
2024年02月13日
浏览(9)
kafka怎么避免重复消费
首先，Kafka Broker上存储的消息都有一个Offset的标记，然后Kafka的消费者是通过Offset这个标记来维护当前已经消费的一个数据的。消费者每消费一批数据，Kafka Broker就会更新OffSet的一个值，避免重复消费的一个问题。默认情况下，消息消费完成以后，会自动提交Offset这样一个值
2024年04月15日
浏览(12)