flink on yarn 中的flink-conf.yaml参数

1年前作者：贾斯汀玛尔斯分类：Toy博客阅读(14)违法举报

这篇具有很好参考价值的文章主要介绍了flink on yarn 中的flink-conf.yaml参数。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

在 Flink on YARN 中，flink-conf.yaml 是 Flink 配置文件，用于配置 Flink 应用程序在 YARN 上的运行。通过修改 flink-conf.yaml 文件中的参数，你可以调整 Flink 集群的行为和性能。以下是一些常见的在 flink-conf.yaml 中设置的参数：

yarn.application.name: 指定 Flink 应用程序在 YARN 上的名称。
yarn.application.priority: 指定 Flink 应用程序在 YARN 调度中的优先级。
yarn.queue: 指定 Flink 应用程序提交到 YARN 的队列名称。
yarn.heap-cutoff-min: 如果 Flink TaskManager 的堆内存小于此值，则 Flink 会在 YARN 上启动一个附加的非堆外存储容器。
yarn.heap-cutoff-ratio: Flink TaskManager 的堆内存的百分比，小于此比例则 Flink 会在 YARN 上启动一个附加的非堆外存储容器。
yarn.containers.vcores: 指定 Flink TaskManager 容器的虚拟 CPU 核心数。
yarn.container-start-command.template: Flink TaskManager 容器启动命令模板。
yarn.container-executor: 指定在 YARN 上启动 Fl文章来源地址https://www.toymoban.com/news/detail-652499.html

到了这里，关于flink on yarn 中的flink-conf.yaml参数的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

Flink、Yarn架构，以Flink on Yarn部署原理详解
Apache Flink是一个开源的分布式流处理框架，它可以处理实时数据流和批处理数据。Flink的架构原理是其实现的基础，架构原理可以分为以下四个部分：JobManager、TaskManager、JobGraph、Checkpoint。 JobManager JobManager是Flink集群的控制节点，负责接收用户提交的任务，将任务分配给Task
2024年02月12日
浏览(8)
[Flink] Flink On Yarn（yarn-session.sh）启动错误
在Flink上启动 yarn-session.sh时出现 The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.错误。版本说明： Hadoop： 3.3.4 Flink：1.17.1 在Flink On Yarn上启动 yarn-session.sh 时出现如下错误：在yarn-site.xml文件中配置了所有可能相关的参
2024年02月13日
浏览(15)
Flink on Yarn安装配置
Apache Flink，作为一个开源的分布式处理引擎，近年来在大数据处理领域崭露头角，其独特的流处理和批处理一体化模型，使得它能够在处理无界和有界数据流时展现出卓越的性能。本文旨在对Flink进行简要的前言性介绍，以及他的安装配置 Apache Flink是一个面向分布式数据流处
2024年03月24日
浏览(20)
flink on yarn 远程提交
2024年02月10日
浏览(14)
flink on yarn集群部署模式
介绍 YARN 上部署的过程是：客户端把 Flink 应用提交给 Yarn 的ResourceManager, Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。在这些容器上，Flink 会部署JobManager 和 TaskManager 的实例，从而启动集群。Flink 会根据运行在 JobManger 上的作业所需要的 Slot 数量动态分配TaskManager 资源。
2024年01月23日
浏览(13)
Flink on yarn任务日志怎么看
1、jobmanager日志在yarn上可以直接看 2、taskmanager日志在flink的webui中可以看，但是flink任务失败后，webui就不存在了，那怎么看？这是jobmanager的地址 hadoop02:19888/jobhistory/logs/hadoop02:45454/container_e03_1684463979345_0028_01_000001/container_e03_1684463979345_0028_01_000001/root 你要
2024年02月16日
浏览(10)
说说Flink on yarn的启动流程
核心流程 FlinkYarnSessionCli 启动的过程中首先会检查Yarn上有没有足够的资源去启动所需要的container，如果有，则上传一些flink的jar和配置文件到HDFS ，这里主要是启动AM进程和TaskManager进程的相关依赖jar包和配置文件。接着yarn client会首先向RM 申请一个container来作为ApplicationMas
2024年02月10日
浏览(13)
Apache Flink连载（二十）：Flink On Yarn运行 - Yarn Per-Job模式（弃用）
🏡 个人主页：IT贫道-CSDN博客 🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~ 🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频目录 1. 任务提交命令 2. 任务提交流程
2024年01月20日
浏览(8)
flink on yarn with kerberos 边缘提交
flink on yarn 带kerberos 远程提交实现 flink kerberos 配置先使用ugi进行一次认证正常提交
2024年02月11日
浏览(7)
Apache Flink连载（十八）：Flink On Yarn运行原理及环境准备
🏡 个人主页：IT贫道-CSDN博客 🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~ 🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频目录 1. Flink On Yarn运行原理
2024年02月03日
浏览(10)