如何使用kafka-configs查看和设置offsets.retention.minutes

来源Simian

从文档中可以看出,这是代理配置,但是细节很少。

1)将其设置为不确定的正确方法是什么?如果这样做,我仍然能够手动删除使用者组及其关联的偏移量吗?

2)我可以将单个消费者群体设置为具有不同的保留率吗?

3)如何查看全局或特定消费者群体的保留率?即使我之前没有设置此功能,我也可以查看并获得一个号码吗?

Giorgos Myrianthous

1)卡夫卡文档提及,对于有效的值offsets.retention.minutes

[1,...]

这意味着您无法设置,offsets.retention.minutes=-1但可以将其设置为相当大的整数,以便长时间保留偏移量。

2)我假设您正在询问是否可以offsets.retention.minutes在主题级别设置不同的值据我所知,这是不可能的。您只能在代理级别(即在server.properties文件内部)修改此配置

编辑:恐怕您不能避免滚动重启,因为您不能offsets.retention.minutes使用进行更改kafka-configs.sh

> bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type brokers --entity-name 0 --alter --add-config offsets.retention.minutes=200800

Error while executing config command requirement failed: Unknown Dynamic Configuration 'retention.minutes'.
java.lang.IllegalArgumentException: requirement failed: Unknown Dynamic Configuration 'retention.minutes'.
        at scala.Predef$.require(Predef.scala:224)
        at kafka.server.DynamicConfig$$anonfun$kafka$server$DynamicConfig$$validate$1.apply(DynamicConfig.scala:101)
        at kafka.server.DynamicConfig$$anonfun$kafka$server$DynamicConfig$$validate$1.apply(DynamicConfig.scala:100)
        at scala.collection.Iterator$class.foreach(Iterator.scala:893)
        at scala.collection.AbstractIterator.foreach(Iterator.scala:1336)
        at kafka.server.DynamicConfig$.kafka$server$DynamicConfig$$validate(DynamicConfig.scala:100)
        at kafka.server.DynamicConfig$Broker$.validate(DynamicConfig.scala:59)
        at kafka.admin.AdminUtils$.changeBrokerConfig(AdminUtils.scala:555)
        at kafka.admin.ConfigCommand$.alterConfig(ConfigCommand.scala:105)
        at kafka.admin.ConfigCommand$.main(ConfigCommand.scala:68)
        at kafka.admin.ConfigCommand.main(ConfigCommand.scala)

3)由于这是代理级别的配置,因此您可以查看server.properties文件中的值或代理日志文件中的值。例如,

 grep offsets.retention.minutes /path/to/your/kafka-broker.log

请注意,即使您尚未配置offsets.retention.minutes,其值也会默认为10080

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如果 offsets.retention.minutes=2 和 cleanup.policy=compact,kafka 会删除提交的偏移量或压缩它

保留配置offset.retention.minutes和log.retention.minutes之间的差异

Kafka每个主题的retention.bytes和全局log.retention.bytes不起作用

kafka-configs.sh + 主题上retention.ms删除后的配置是什么

kafka +如何计算log.retention.byte的值

@Retention注解的递归使用,怎么可能?

Kafka 覆盖主题的 log.retention.check.interval.ms

环境 KAFKA_LOG_RETENTION_BYTES 无法被 Kafka 识别,“log.retentions.bytes”仍然是 -1

动态配置retention.ms 不适用于kafka 主题

如何查看和删除 Kafka 主题

如何使用Spring Boot设置Kafka使用者并发

Django 如何查看设置和取消设置的 cookie?

如何查看kafka消息

如何获取minutes()返回00而不是0?

将 float 转换为 Minutes 和 Seconds

如何减慢或设置Kafka流使用者的给定速度?

如何使用JSON值设置Kafka Rest代理密钥架构?

如何使用librdkafka设置Kafka消息的最大大小

如何使用广播变量集成火花流和 kafka?

如何使用Avro和Flink解码Kafka消息

Kafka-如何同时使用filter和filternot?

如何使用 Spring Cloud Stream 和 Kafka 绑定 Store?

如何在Spring Kafka和Spring Integration中使用GenericMessageJacksonDeserializer?

如何在Cloudfoundry上使用Kafka和Storm?

如何使用Kafka,Alpakka Kafka,Play Framework和Websocket处理POST请求?

如何使用 spring-kafka 和 kafka-streams 在 KStreams Bean 中记录偏移量

普罗米修斯:可以为storage.tsdb.retention.time标志设置的最小值是多少

如何在拆分视图中查看设置 UI 和 JSON?

与@Repeatable @Retention(AnnotationRetention.Source)一起使用时,roundEnv.getElementsAnnotatedWith(AnnotationName :: class.java)反射是否断开