为什么在kafka中两个Kstream的共分区要求两个流的分区数相同?

阿卡什(Akash Jain)

我想知道为什么在kafka中对两个Kstream进行共分区,为什么两个流都需要相同数量的分区,如下面URL中的文档所示:在此处输入链接描述

马蒂亚斯·萨克斯

顾名思义,“ co-partition”表示您希望将来自不同主题但具有相同密钥的数据放入同一Kafka Streams应用程序实例。如果您没有相同数量的分区,则无法获得此行为。

假设您的主题A具有2个分区,主题B具有3个分区。因此,可能发生的情况是,具有键X的一条记录被哈希到分区A-0和B-1(即,不同的分区号)。但是,对于其他密钥Y,可能会将其哈希到A-0,但会哈希到B-2。

仅当两个主题的分区数相同时,具有相同键的记录才最终位于相同的分区(当然是不同主题)中,这允许处理A-0 / B-0和A-1 / B- 1等在一起。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

两个健康的恢复分区,为什么?

Kafka分区器问题,两个主题相同的分区键

如何使两个细分区域彼此相同的高度

如果目录中的数据相同,为什么两个目录的大小不同?它们是相同的ext4分区和磁盘

为什么我选择了一个(fdisk)时删除了两个分区?

基于两个变量创建分区

合并两个NTFS分区

我的分区的两个安装点

两个SSD的分区方案

为什么在磁盘管理中有两个分区标记为D :,而在我的计算机中只有一个分区D :?

分区列表时,为什么断开两个列表节点之间的链接?

Windows7为什么要创建两个分区?

在centos中合并两个分区与不同的磁盘

如何在Linux中合并两个分区

双启动中的两个 EFI 分区

彼此隔离的两个分区中的两个Windows

在两个主分区之间创建扩展分区

将两个分区的内容合并到一个单独的分区中

为什么两个具有相同 group.id 的消费者在 Kafka 中收到相同的消息

为什么两个看似相同的变量会产生两个不同的结果?

为什么这两个对象的 id 相同?

为什么两个不同实例的 isa 指针相同?

为什么这两个代码给出的结果相同?

为什么两个随机生成的数组总是相同的?

为什么两个相同数组的元素彼此相等

为什么这两个指针访问相同的元素?

为什么两个地块不相同

为什么我的6TB硬盘驱动器显示为两个未分配的分区?

为什么我的6TB硬盘驱动器显示为两个未分配的分区?