如何为具有 1 个分区的 Kafka 主题创建并发消息侦听器

用户3366706

使用 Spring Kafka org.springframework.kafka.listener.ConcurrentMessageListenerContainer根据 ContainerProperties 和主题中的分区数创建多个侦听器。并且javadoc说“来自同一分区内的消息将按顺序处理”。所以如果只有 1 个分区并且并发设置为 10,会发生什么 - 不会有任何并发​​?或者消息是否会分发给 10 个听众但乱序?

阿尔乔姆·比兰

不,肯定只有一个目标听众。一个分区 - 每个消费者组一个消费者的进程。这是 Apache Kafka 的特性。那不是 Spring Kafka 的问题。

您可以使用最近从您的侦听器方法并行来自该分区的消息TaskExecutor但这已经是您的应用程序 - 框架不会为您做任何事情。只是因为目标 Kafka 系统的性质。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

Kafka Connect:JDBC源连接器:创建具有多个分区的主题

如何在具有不同配置的 Kafka 主题之间分发消息?

在kafka主题中创建多个分区,并使用kafka-node将消息发布到所有分区

由于1个硬盘驱动器仅限于4个主分区,如何改用1个主分区和10个扩展分区呢?

kafka多分区只有一个可以接收消息

Kafka Streams - 如何有效地加入一个大型的、非共同分区的存储/主题

如何用密钥发送1个Kafka消息?

如何为带有两个swing组件的类创建自己的侦听器

Kafka分区器问题,两个主题相同的分区键

如何在Kafka Connect Sink中指定Kafka主题的分区

如何为嵌套元素添加1个事件侦听器

如何在Kafka中分类主题/分区?

带领导者-1的Kafka主题分区

Kafka创建带有默认分区数的主题

具有多个回复模板的 Kafka 侦听器容器

Kafka:主题与分区数据

Kafka主题分区

如何将主题动态传递给Kafka侦听器?

在收听具有多个分区的主题时,如何确保Kafka Streams能够处理所有相关数据?

Kafka Mirror Maker 1 是否具有自动分区发现功能?

Spring Kafka-如何使用多个具有不同配置的侦听器配置单个ListenerContainerFactory

如何在XML文件中配置RabbitMQ以使其具有以下功能:1)从多个队列侦听的侦听器2)2个侦听同一队列的侦听器?

Kafka生产者未在分区上分发消息

如何使用 curl 在融合的 kafka 中创建带有分区的主题

Kafka-Spark Streaming-仅从1个分区读取数据

Apache Kafka 0.9.0.0显示所有带有分区的主题

如何为从另一个类引发的事件创建事件侦听器

无法在具有多个主题分区的Kafka Streams中重新平衡错误

Kafka单个使用者从给定偏移量读取具有多个分区的主题