在Kafka中启动多个连接器通过单个分布式工作者连接吗?

suraj_fale

如何在一个分布式工作者(在3台不同的服务器上运行)中的一个Kafka Connect世界中启动多个Kafka连接器

现在,在此分布式工作器(相同的group.id)中,我需要4个Kafka连接器。

目前,我正在使用以下curl命令一次添加一个连接器。

curl -X POST -H "Content-type: application/json" -d '<my_single_connector_config>' 'http://localhost:8083/connectors'

问题:

  • 对于我添加的每个新连接器,先前/现有的连接器将与新连接器一起重新启动。

题:

  • 如何在分布式工作程序模式下通过一个REST调用启动/创建所有这些新连接器?
  • 有没有办法在单个REST调用中拥有所有连接器配置,例如连接器配置数组?

我尝试搜索相同的内容,但没有遇到任何解决方法。

谢谢。

罗宾·莫法特

对于我添加的每个新连接器,先前/现有的连接器将与新连接器一起重新启动。

是的,这就是Kafka Connect的当前行为。有关更多讨论,请参见:

如何在分布式工作程序模式下通过一个REST调用启动/创建所有这些新连接器?有没有办法在单个REST调用中拥有所有连接器配置,例如连接器配置数组?

您无法在单个REST调用中完成此操作


如果要在创建/更新连接器时将它们相互隔离,则可以只运行多个分布式群集。

因此,您可以有3个分布式Connect群集而不是每个运行3个连接器的分布式Connect群集。

请记住,在实践中,“分布式集群”可能只是一个节点,并且实际上都可以在同一台机器上运行。您可以横向扩展弹性和吞吐能力。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

在独立模式和分布式模式下运行单个kafka s3接收器连接器

具有多个任务的分布式官方Mongodb Kafka源连接器不起作用

Kafka-Connect:以分布式模式创建新连接器将创建新组

配置Kafka Connect分布式连接器日志(connectDistributed.out)

kafka-connect:连接器接收器cassandra的分布式配置中出现错误

为什么Dask /分布式工作者中的计算速度要慢得多?

可以通过配置'cleanup.policy = compact,delete'与主题'connect-offset'进行kafka-connect分布式工作者

当我在其上创建它的节点被杀死时,为什么Kafka分布式连接器会死掉?

如何设置dask分布式工作者的日志记录?

以分布式模式启动Kafka连接时请求超时消息

kafka在接收器连接器属性中连接多个主题

kafka mongodb 接收器连接器未启动

模拟流中的多个连接器

分布式系统中的启动器节点

Kafka连接器日志

Laravel中的多个队列工作者

Kafka Connect JDBC Source连接器是幂等的吗?

Kafka连接器可以加载自己的名称吗?

Azure:通过证书从云工作者连接到关键文件库

通过kafka jdbc连接器删除数据库中的记录

如何在 kafka 源连接器属性中配置多个查询和查询特定主题?

在Spring Boot中区分嵌入式Tomcat中多个连接器/端口之间的请求

是否可以在单个Spark工作者中为一个Spark应用程序启动多个执行程序?

有没有一种方法可以强制Spark工作者使用分布式numpy版本而不是其上安装的版本?

是否可以通过启动 docker 时传递的 env 变量来配置 kafka 连接器?还是卷曲是唯一的方法?

使用 AMQP 保持与远程工作者的长期连接

火花工作者未连接到主设备

Docker 容器中的 Kafka Connect:未添加连接器

Java中的Kafka Connect Dynamic连接器