Flink stop 和 cancel停止 job 的区别

这篇具有很好参考价值的文章主要介绍了Flink stop 和 cancel停止 job 的区别。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Flink 停止 job 的方式(stop 和 cancel)

1.Stop 方式

后边跟的任务id 是flink的任务ID,不是yarn的

flink stop -m 127.0.0.1:8081 357591171dfcca2eea09de

注:stop方式停止任务对 source 有要求,source必须实现了StopableFunction接口,才可以优雅的停止job

2. cancel 方式

取消任务。如果在 conf/flink-conf.yaml 里面配置了 state.savepoints.dir ,会保存savepoint,
否则不会保存 savepoint。

使用 命令方式

flink cancel -m 127.0.0.1:8081 357591171dfcca2eea09de

也可以在停止的时候显示指定 savepoint 目录

flink cancel -m 127.0.0.1:8081 -s /tmp/savepoint 357591171dfcca2eea09de

也可以通过 UI 界面 cancel

两者的区别

● cancel() 调用,立即调用作业算子的 cancel() 方法,以尽快取消它们。如果算子在接
到 cancel() 调用后没有停止,Flink 将开始定期中断算子线程的执行,直到所有算子停
止为止。
● stop() 调用,是更优雅的停止正在运行流作业的方式。stop() 仅适用于 source 实现了
StoppableFunction 接口的作业。当用户请求停止作业时,作业的所有 source 都将接
收 stop() 方法调用。直到所有 source 正常关闭时,作业才会正常结束。这种方式,使
作业正常处理完所有作业。文章来源地址https://www.toymoban.com/news/detail-731957.html

到了这里,关于Flink stop 和 cancel停止 job 的区别的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Flink Job 执行流程

    ​ 基于 Yarn 层面的架构类似 Spark on Yarn 模式 ,都是由 Client 提交 App 到 RM 上面去运行,然后 RM 分配第一个 container 去运行 AM ,然后由 AM 去负责资源的监督和管理 。需要说明的是, Flink 的 Yarn 模式更加类似 Spark on Yarn 的 cluster 模式,在 cluster 模式中, dirver 将作为 AM 中的一

    2024年02月04日
    浏览(16)
  • Flink CDC实现一个Job同步多个表

    直接使用Flink CDC SQL的写法,一个Job只能同步一个表的数据,至于原因,在此不再赘述。 直接上代码吧 将SourceRecord类转化为自定义的JsonRecord类型 JsonRecord类定义如下: 其中fieldValue为字段map序列化后的字符串 第三步,编写main函数 通过OutputTag实现分流

    2024年02月12日
    浏览(15)
  • Apache Flink连载(二十):Flink On Yarn运行 - Yarn Per-Job模式(弃用)

     🏡 个人主页:IT贫道-CSDN博客  🚩 私聊博主:私聊博主加WX好友,获取更多资料哦~  🔔 博主个人B栈地址:豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频 目录 1. 任务提交命令 2. 任务提交流程

    2024年01月20日
    浏览(14)
  • 【已解决】Flink连接JDBC报错 org.apache.flink.runtime.client.JobExecutionException: Job execution failed.

    环境: Flink1.13.6 MySQL5.7.27 JDK8 Hadoop3.1.4 集成环境Idea2020 Maven依赖 报错内容 运行代码 ###修改代码 修改为 true修改为false即可 2023-6-28更新: Job execution failed.这个报错是Flink给出job中的运行时异常,需要做的是查看log,检查业务代码中的逻辑。

    2024年02月07日
    浏览(19)
  • 【Flink系列二】如何计算Job并行度及slots数量

    接上文的问题 并行的任务,需要占用多少slot ? 一个流处理程序,需要包含多少个任务 首先明确一下概念 slot:TM上分配资源的最小单元,它代表的是资源(比如1G内存,而非线程的概念,好多人把slot类比成线程,是不恰当的) 任务(task):线程调度的最小单元,和java中的

    2024年01月18日
    浏览(10)
  • 【Flink】详解Flink任务提交流程

    通常我们会使用 bin/flink run -t yarn-per-job -c com.xxx.xxx.WordCount/WordCount.jar 方式启动任务;我们看一下 flink 文件中到底做了什么,以下是其部分源码 可以看到,第一步将相对地址转换成绝对地址;第二步获取 Flink 配置信息,这个信息放在 bin 目录下的 config. sh 中;第三步获取 JV

    2024年02月14日
    浏览(19)
  • 【源码分析】一个flink job的sql到底是如何执行的(一):flink sql底层是如何调用connector实现物理执行计划的

    我们以一条sql为例分析下flink sql与connector是如何配合执行的,本文我们先分析 sql-sqlnode-validate-operation:是如何找到对应的connector实例的 relnode-execGraph:是如何组装node为Graph,在哪找到connector实例的 之后的文章将会继续分析: translateToPlanInternal是如何串联connector其他方法的

    2024年01月16日
    浏览(14)
  • flink1.7x问题Lambda表达式出现异常org.apache.flink.runtime.client.JobExecutionException: Job execution faile

    其他的哪些都是瞎扯淡 flink1.7x版本的问题: 使用Lambda-表达式出现异常org.apache.flink.runtime.client.JobExecutionException: Job execution faile 解决问题: 升级jdk版本为17 flink1.7已经弃用jdk8了 然后升完级运行出异常: 异常信息 在idea的vm处加上: 运行jar时候加上: 异常信息

    2024年02月04日
    浏览(12)
  • Flink提交jar出现错误RestHandlerException: No jobs included in application.

    今天打包一个flink的maven工程为jar,通过flink webUI提交,发现居然报错。 如上图所示,提示错误为: Server Response Message: org.apache.flink.runtime.rest.handler.RestHandlerException: No jobs included in application. at 【解决方案】 查看  JOB Manager日志 发现是环境问题,再仔细看 ,居然使用了 Stream

    2024年02月10日
    浏览(27)
  • [Flink] Flink Job运行状态正常,但日志中偶报“FlinkException: The file LOG does not exist on the TaskExecutor.”

    Flink : 1.12 该报错主要是找不到 STDOUT 文件,原因是程序中没有 sout 输出,当你去 web-ui 点击 stdout 目录,就会报一个这儿样的接口请求错误,并不影响程序运行,可忽略。 方式1:不影响程序正常运行,忽略此ERROR即可 目前博主的做法 (经验证,确实不影响程序功能正常运行)

    2024年02月03日
    浏览(30)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包