flink/README.md
2023-07-09 00:03:33 +08:00

2.7 KiB
Raw Blame History

flink

介绍

Apache Flink是由Apache软件基金会开发的开源流处理框架其核心是用Java和Scala编写的分布式流数据处理引擎。Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台它能够基于同一个Flink运行时提供支持流处理和批处理两种类型应用的功能。 Flink以数据并行和流水线方式执行任意流数据程序Flink的流水线运行时系统可以执行批处理和流处理程序。此外Flink的运行时本身也支持迭代算法的执行。 现有的开源计算方案会把流处理和批处理作为两种不同的应用类型因为它们所提供的SLAService-Level-Aggreement是完全不相同的流处理一般需要支持低延迟、Exactly-once保证而批处理需要支持高吞吐、高效处理。

软件架构

软件架构说明 Flink的架构体系同样也遵行分层架构设计的理念基本上分为三层API&Libraries层、Runtine核心层以及物理部署层。

  • API&Libraries层提供了支撑流计算和批计算的接口同时在此基础之上抽象出不同的应用类型的组件库。
  • Runtime 核心层负责对上层不同接口提供基础服务支持分布式Stream作业的执行、JobGraph到ExecutionGraph 的映射转换、任务调度等将DataStream和DataSet转成统一的可执行的Task Operator.
  • 物理部署层Flink 支持多种部署模式本机集群Standalone/YARN、云GCE/EC2、Kubenetes。

ARM支持

  1. 移植指南:https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/Flink/kunpengflink191_02_0001.html
  2. 部署指南:https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/Flink/kunpengflink_04_0001.html
  3. 调优指南:https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/Flink/kunpengflinkhdp_05_0002.html

安装教程

  1. xxxx
  2. xxxx
  3. xxxx

使用说明

  1. xxxx
  2. xxxx
  3. xxxx

参与贡献

  1. Fork 本仓库
  2. 新建 Feat_xxx 分支
  3. 提交代码
  4. 新建 Pull Request

码云特技

  1. 使用 Readme_XXX.md 来支持不同的语言,例如 Readme_en.md, Readme_zh.md
  2. 码云官方博客 blog.gitee.com
  3. 你可以 https://gitee.com/explore 这个地址来了解码云上的优秀开源项目
  4. GVP 全称是码云最有价值开源项目,是码云综合评定出的优秀开源项目
  5. 码云官方提供的使用手册 https://gitee.com/help
  6. 码云封面人物是一档用来展示码云会员风采的栏目 https://gitee.com/gitee-stars/