通过同一应用程序的多个kafka流实例读取规则集主题/分区

伊帕纳格

我有一个Kafka Stream应用程序,该程序在主事件主题中进行一些处理,还有一个副主题,用于将规则集应用于主事件主题。

到目前为止,该应用程序已作为单个实例运行,并且当应用规则时,将为其他处理操作员(主要主题使用者)设置一个静态变量,以继续按预期运行评估规则。这是必需的,因为规则流将根据规则键文字(例如<“ MODE”,value>)写入单个分区,因此,所有其他任务(通过静态变量)都将知道更改。

显然,尽管在将应用程序部署到多个节点时,此方法行不通,因为只有一个消费者组(例如,来自两个实例应用程序)会导致一个实例应用程序将其静态变量设置为正确的值,而另一个实例应用程序却从不使用该规则值(还将每个实例应用程序设置为不同的组ID也会导致两次使用主主题而产生不良后果)

另一方面,将规则主题用作全局表​​的解决方案将导致主处理运算符每次在该运算符消耗事件以查询最新规则时就查询全局表。

当在该主题中引入值以执行一些回调代码并设置静态变量时,是否可以使用某种全局表侦听器?

是否有更好/替代的方法来解决此问题?

马蒂亚斯·萨克斯

可以使用而不是代替GlobalKTable,可以addGlobalStore()执行自定义代码。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

具有同一应用程序多个实例的 Amazon SNS 主题

具有相同组ID Kafka的同一应用程序的多个实例

如何让同一应用程序的多个版本使用相同版本的程序集?C#

使用.NET多线程运行同一应用程序的多个实例

如何在 node.js 中禁止同一应用程序的多个实例?

同一应用程序服务器的多个实例导致2个问题

使用dbus控制同一应用程序的多个实例?

同一应用程序的不同实例的集成测试

如何通过任务栏从同一应用程序快速关闭多个窗口?

同一应用程序上的多个TIdCmdTCPServers

Kafka流:从应用程序的每个实例的所有分区中读取

在同一应用程序的两个或多个实例之间切换的快捷键?

如何在多个工作人员(相同数量的分区)的同一主题上扩展kafka消费者应用程序

Spring JMS在同一应用程序中使用点对点和主题

春季云流:同一应用程序中的两个不同的Kafkas

Android:初始化时,同一应用程序的两个Aplication类实例

是否可以安装同一应用程序的两个实例?

Spring Boot Admin-注册同一应用程序的两个实例

建议在同一应用程序中运行 Kafka 生产者 + 消费者?

android中同一应用的多个实例

同一应用程序无法通过Docker Compose发送HTTP请求

如何从同一应用程序向多个JMS(活动MQ)代理发送消息?

在同一应用程序中启动多个scotty服务器的最优雅方法是?

如何在git中同时使用同一应用程序的多个版本?

如何在Glassfish服务器上部署同一应用程序的多个副本?

Liquibase可以处理由同一应用程序管理的多个模式吗?

库中同一应用程序的多个共享选项

是否可以在TestFlight上具有同一应用程序的多个版本?

远程更新同一应用程序的多个网站和数据库