为什么要在Flink中使用kafka

伊格内修斯·赖利

我目前正在发现使用flink进行流处理的领域。但是,到目前为止,我阅读的大多数专业文章都谈论flink和kafka。但是我没有找到清楚的解释,为什么这个二人组看起来如此逻辑,并解释了flink无法做到的kafka,反之亦然。

到目前为止,我发现以下内容:-flink无法使用readCsvFile进行PROCESS_CONTINUOUSLY,而kafka在这方面可以支持,-kafka可以进行流聚合,但是与kafka相比,它似乎有限(不确定)。

因此,请不要犹豫,添加您到目前为止在这些系统上拥有的知识和经验。提前非常感谢您。

ImbaBalboa

乍一看,差异确实不明显。

Apache Kafka是一种解决方案,用于处理实时信息并将其快速路由到消费者,这意味着它是消息代理

Apache Flink是一个流处理框架它涉及数据在内存中的分布式计算。

话虽这么说,基本上,Kafka将充当消息路由器的角色,而Apache Flink将处理数据。

如您在下面的示例模式中看到的那样,Kafka允许发布来自异构源的消息,而Apache Flink将通过应用开窗或精简功能来处理这些数据。

在此处输入图片说明

如果您查看Kafka文档,他们会在Kafka之上引入一个称为Kafka Stream的新功能(它不是原始Kafka的一部分)。这也是一个流处理框架,能够像Apache Flink一样处理数据。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章