找文章 / 找答案
精选问答 更多内容

[SQL独家资料] 【Flink】基础-Flink 部署

Yonghong-Club 显示全部楼层 发表于 2022-2-23 11:42:06 |阅读模式 打印 上一主题 下一主题
本文主要介绍FLINK的部署。
Flink 中每一个 TaskManager 都是一个 JVM 进程,它可能会在 独立的线程上执行一个或多个 subtask 为了控制一个 TaskManager 能接收多少个 task,TaskManager
通过 task slot 来进行控制(一个 TaskManager 至少有一个 slot)。

每个 task slot 表示 TaskManager 拥有资源的一个固定大小的子 集。假如一个 TaskManager 有三个 slot,那么它会将其管理的 内存分成三份给各个 slot(注:这里不会涉及 CPU 的隔离,slot 仅仅用来隔离 task 的受管理内存) 可以通过调整 task slot 的数量去自定义 subtask 之间的隔离方 式。如一个 TaskManager 一个 slot 时,那么每个 task group 运行在独立的 JVM 中。而当一个 TaskManager 多个 slot 时,多 个 subtask 可以共同享有一个 JVM,而在同一个 JVM 进程中的 task 将共享 TCP 连接和心跳消息,也可能共享数据集和数据结 构,从而减少每个 task 的负载。


Flink基础系列2-Flink部署.pdf (781.78 KB, 下载次数: 14)
回复

使用道具 举报

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |《永洪社区协议》
返回顶部