KStreams-org.apache.kafka.common.errors.TimeoutException:60000毫秒的超时已成功提交偏移量

擎天柱

在kafka Streams(版本:2.3.1)上,我们面临的是提交偏移量的问题:

org.apache.kafka.common.errors.TimeoutException:60000毫秒的超时已成功提交偏移量

这不是定期发生的。可能是什么原因?

另外,由于TimeoutException是可重试的异常,因此我们计划在发生间歇性错误时增加重试次数。

无论如何会有所帮助吗?我们ATLEAST_ONCE在用例中处理保证和订购事宜。

我们希望它不会以任何方式影响偏移量顺序,因为KStreams会同步提交偏移量,并且如果一个提交失败并且正在重试,则特定的流线程将不会处理新记录,并且不会干扰偏移量。

沃森

如果TimeoutException是瞬态的,则可能是由于间歇性的网络问题或某些代理过载造成的,在这种情况下,增加重试次数可能会有所帮助。

但是,就延迟而言,发现超时的根本原因可能更好。为了找到根本原因,您可能需要更多地研究计量技术。这是一个博客,可帮助您入门https://sematext.com/blog/kafka-metrics-to-monitor/

通过为瓶颈提供更多资源可以解决此问题。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

Docker swarm:org.apache.kafka.common.errors.TimeoutException:等待节点分配超时

Azure eventhub Kafka org.apache.kafka.common.errors.TimeoutException的一些记录

org.apache.kafka.common.errors.SerializationException:未知的魔术字节

org.apache.kafka.common.errors.TimeoutException:60000 ms之后元数据中不存在主题

org.apache.kafka.common.errors.UnknownTopicOrPartitionException:此服务器未托管此主题分区

我可以忽略org.apache.kafka.common.errors.NotLeaderForPartitionExceptions吗?

NoClassDefFoundError: org/apache/kafka/common/serialization/StringDeserializer

Kafka KStreams-处理超时

org.apache.kafka.common.errors.RecordTooLargeException:该请求包含的消息大于服务器将接受的最大消息大小

错误运行消费者时出现未知错误:org.apache.kafka.common.errors.SerializationException:未知魔术字节

当序列化一个 Kafka Avro 对象时,我会得到“org.apache.kafka.common.errors.SerializationException: Unknown magic byte!”

如何使用 spring-kafka 和 kafka-streams 在 KStreams Bean 中记录偏移量

org.apache.kafka.common.KafkaException:无法构造kafka使用者

Kafka Utils错误的类路径:org.apache.kafka.common.utils.Utils

Kafka Producer-找不到org.apache.kafka.common.serialization.StringSerializer

Spark Streaming Kafka java.lang.ClassNotFoundException:org.apache.kafka.common.serialization.StringDeserializer

Kafka Producer导致org.apache.kafka.common.network.InvalidReceiveException:无效的接收

IDEA在kafka 2.4源代码中找不到包org.apache.kafka.common.message

org.apache.kafka.connect.errors.DataException:结构模式不匹配

KafkaException:类不是org.apache.kafka.common.serialization.Deserializer的实例

java.lang.ClassNotFoundException:org.apache.kafka.common.metrics.MetricsContext

Spark因org.apache.kafka.common.serialization.StringDeserializer的NoClassDefFoundError而失败

JBOSS给出org.apache.kafka.common.KafkaException:无法读取auth.conf

Kafka流异常:org.apache.kafka.streams.errors.StreamsException-反序列化异常处理程序

用于Kafka Connect弹性搜索的KSQL AVRO FORMAT ISSUE:org.apache.kafka.connect.errors.DataException:de ****** ense

org.apache.kafka.connect.errors.ConnectException 使用 Snowflake 連接器啟動 Kafka Connect 時出錯

Spring Cloud Stream Kafka-未找到Serde类:org.apache.kafka.common.serialization.Serde $ StringSerde

kafka流异常找不到org.apache.kafka.common.serialization.Serdes $ WrapperSerde的公共无参数构造函数

连接Kafka 3.0时遇到的问题-org.apache.kafka.common.KafkaException:无法加载SSL密钥库