Flink内核原理与实现

Flink内核原理与实现

1. Master（JobManager）—Slave（TaskManager）架构

2. JobManager 根据并行度将 Flink 应用分解为子任务，向 ResourceManager申请资源，然后分发任务到 TaskManager执行，并负责应用容错，跟踪作业的执行状态，发现异常则恢复作业等

   1. JobManager 下面分 JobMaster（解析作业）、ResourceManager、Dispatcher 三个部分
   2. JobMaster 将客户端生成的作业图转换为物理层面的执行图，并进行分发
   3. 一个 JobMaster 对应一个 JobManager，一个 JobManger 可以有多个 JobMaster

3. TaskManager 管理子任务的启动、停止、销毁、异常恢复等。

4. DataStream