系统架构

             Flink 的运行时架构中，最重要的就是两大组件：作业管理器（ JobManger ）和任务管理器
（ TaskManager ）。对于一个提交执行的作业， JobManager 是真正意义上的“管理者”（ Master ）， 负责管理调度，所以在不考虑高可用的情况下只能有一个；而 TaskManager 是“工作者” （Worker 、 Slave ），负责执行任务处理数据，所以可以有一个或多个。 Flink 的作业提交和任务
处理时的系统如图 4-1 所示。

 

        这里首先要说明一下“客户端”。其实客户端并不是处理系统的一部分，它只负责作业的
提交。具体来说，就是调用程序的 main 方法，将代码转换成“数据流图”（ Dataflow Graph ），
并最终生成作业图（ JobGraph ），一并发送给 JobManager 。提交之后，任务的执行其实就跟客
户端没有关系了；我们可以在客户端选择断开与 JobManager 的连接 , 也可以继续保持连接。
之前我们在命令提交作业时，加上的 -d 参数，就是表示分离模式（ detached mode) ，也就是断
开连接。
       当然，客户端可以随时连接到 JobManager ，获取当前作业的状态和执行结果，也可以发
送请求取消作业。我们在上一章中不论通过 Web UI 还是命令行执行“ flink run ”的相关操作，
都是通过客户端实现的。
JobManager 和 TaskManagers 可以以不同的方式启动：
⚫ 作为独立（ Standalone ）集群的进程，直接在机器上启动
⚫ 在容器中启动
⚫ 由资源管理平台调度启动，比如 YARN 、 K8S
这其实就对应着不同的部署方式。
        TaskManager 启动之后， JobManager 会与它建立连接，并将作业图（ JobGraph ）转换成可
执行的 “ 执行图 ” （ ExecutionGraph ）分发给可用的 TaskManager ，然后就由 TaskManager 具体
执行任务。接下来，我们就具体介绍一下 JobManger 和 TaskManager 在整个过程中扮演的角色。

 

 作业管理器（Jobmanager）

       JobManager 是一个 Flink 集群中任务管理和调度的核心，是控制应用执行的主进程。也就
是说，每个应用都应该被唯一的 JobManager 所控制执行。当然，在高可用（ HA ）的场景下， 可能会出现多个 JobManager ；这时只有一个是正在运行的领导节点（ leader ），其他都是备用
节点（ standby ）。
     JobManger 又包含 3 个不同的组件，下面我们一一讲解。

 JobMaster

        JobMaster 是 JobManager 中最核心的组件，负责处理单独的作业（ Job ）。所以 JobMaster
和具体的 Job 是一一对应的，多个 Job 可以同时运行在一个 Flink 集群中 , 每个 Job 都有一个
自己的 JobMaster 。需要注意在早期版本的 Flink 中，没有 JobMaster 的概念；而 JobManager
的概念范围较小，实际指的就是现在所说的 JobMaster 。
      在作业提交时， JobMaster 会先接收到要执行的应用。这里所说“应用”一般是客户端提
交来的，包括： Jar 包，数据流图（ dataflow graph ），和作业图（ JobGraph ）。
      JobMaster 会把 JobGraph 转换成一个物理层面的数据流图，这个图被叫作“执行图”
（ ExecutionGraph ），它包含了所有可以并发执行的任务。 JobMaster 会向资源管理器
（ ResourceManager ）发出请求，申请执行任务必要的资源。一旦它获取到了足够的资源，就会
将执行图分发到真正运行它们的 TaskManager 上。
      而在运行过程中， JobMaster 会负责所有需要中央协调的操作，比如说检查点（ checkpoints ）
的协调。

资源管理器（ResourceManager）

       ResourceManager 主要负责资源的分配和管理，在 Flink 集群中只有一个。所谓“资源”，
主要是指 TaskManager 的任务槽（ task slots ）。任务槽就是 Flink 集群中的资源调配单元，包含
了机器用来执行计算的一组 CPU 和内存资源。每一个任务（ Task ）都需要分配到一个 slot 上
执行。
       这里注意要把 Flink 内置的 ResourceManager 和其他资源管理平台（比如 YARN）的
ResourceManager 区分开。
        Flink 的 ResourceManager ，针对不同的环境和资源管理平台（比如 Standalone 部署，或者
YARN ），有不同的具体实现。在 Standalone 部署时，因为 TaskManager 是单独启动的（没有
Per-Job 模式），所以 ResourceManager 只能分发可用 TaskManager 的任务槽，不能单独启动新
TaskManager 。
        而在有资源管理平台时，就不受此限制。当新的作业申请资源时， ResourceManager 会将
有空闲槽位的 TaskManager 分配给 JobMaster 。如果 ResourceManager 没有足够的任务槽，它
还可以向资源提供平台发起会话，请求提供启动 TaskManager 进程的容器。另外，
ResourceManager 还负责停掉空闲的 TaskManager ，释放计算资源。

分发器（Dispatcher）

       Dispatcher 主要负责提供一个 REST 接口，用来提交应用，并且负责为每一个新提交的作
业启动一个新的 JobMaster 组件。 Dispatcher 也会启动一个 Web UI ，用来方便地展示和监控作
业执行的信息。 Dispatcher 在架构中并不是必需的，在不同的部署模式下可能会被忽略掉。

任务管理器（TaskManager）

        TaskManager 是 Flink 中的工作进程，数据流的具体计算就是它来做的，所以也被称为
“ Worker ”。 Flink 集群中必须至少有一个 TaskManager ；当然由于分布式计算的考虑，通常会
有多个 TaskManager 运行，每一个 TaskManager 都包含了一定数量的任务槽（ task slots ）。 Slot
是资源调度的最小单位， slot 的数量限制了 TaskManager 能够并行处理的任务数量。
        启动之后， TaskManager 会向资源管理器注册它的 slots ；收到资源管理器的指令后，
TaskManager 就会将一个或者多个槽位提供给 JobMaster 调用， JobMaster 就可以分配任务来执
行了。
       在执行过程中， TaskManager 可以缓冲数据，还可以跟其他运行同一应用的 TaskManager
交换数据。
# flink # 系统架构 # 大数据
Logo
Cloudpods

开源、云原生的融合云平台

更多推荐

面向未来的 IT 基础设施管理架构——融合云（Unified IaaS）

随着数字化时代的到来，IT系统已成为人类社会正常运转不可或缺的组成部分。不远的未来，智能制造，5G和人工智能等技术将成为推动生产力发展的重要引擎，人类社会将面临前所未有的全面彻底的数字化浪潮。IT基础设施作为IT系统运行的平台和载体，是实现数字化的基石。在这场数字化浪潮中，企业必须积极拥抱云计算技术，采用符合技术发展趋势、面向未来的IT基础构架，才能在未来的竞争中赢得先机。 一、云计算历经十余年

avatar Cloudpods

Cloudpods负载均衡的功能介绍

作者:周有松 今天的内容会从以下几个方面展开： 负载均衡产品简介。主要介绍负载均衡作为一个云上产品，它的功能模型是怎样的，日常使用中会遇到的业务词汇负载均衡的功能与典型应用场景。这部分主要结合业务词汇，对负载均衡服务中常见的一些功能选项进行介绍，并举例介绍一些典型的应用场景最后，我们做一下总结，讨论一下负载均衡产品相比传统方式的优点 一、产品简介​ 1. 以NGINX为例​ 提到负载均衡，我们以

avatar Cloudpods

使用Linux vfio将Nvidia GPU透传给QEMU虚拟机

Linux 上虚拟机 GPU 透传需要使用 vfio 的方式。主要是因为在 vfio 方式下对虚拟设备的权限和 DMA 隔离上做的更好。但是这么做也有个缺点，这个物理设备在主机和其他虚拟机都不能使用了。 qemu 直接使用物理设备本身命令行是很简单的，关键在于事先在主机上对系统、内核和物理设备的一些配置。 单纯从 qemu 的命令行来看，其实和普通虚拟机启动就差了最后那个-device的选项。这

avatar Cloudpods