如何在一个分布式工作者(在3台不同的服务器上运行)中的一个Kafka Connect世界中启动多个Kafka连接器?
现在,在此分布式工作器(相同的group.id)中,我需要4个Kafka连接器。
目前,我正在使用以下curl命令一次添加一个连接器。
curl -X POST -H "Content-type: application/json" -d '<my_single_connector_config>' 'http://localhost:8083/connectors'
问题:
题:
我尝试搜索相同的内容,但没有遇到任何解决方法。
谢谢。
对于我添加的每个新连接器,先前/现有的连接器将与新连接器一起重新启动。
是的,这就是Kafka Connect的当前行为。有关更多讨论,请参见:
如何在分布式工作程序模式下通过一个REST调用启动/创建所有这些新连接器?有没有办法在单个REST调用中拥有所有连接器配置,例如连接器配置数组?
您无法在单个REST调用中完成此操作
如果要在创建/更新连接器时将它们相互隔离,则可以只运行多个分布式群集。
因此,您可以有3个分布式Connect群集而不是每个运行3个连接器的分布式Connect群集。
请记住,在实践中,“分布式集群”可能只是一个节点,并且实际上都可以在同一台机器上运行。您可以横向扩展弹性和吞吐能力。
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句