Apache Flink中的定期水印和标点水印有什么区别?

Somasundaram Sekar

如果有人提供用例示例来说明每个Watermark API与下面给出的Apache flink之间的区别,将很有帮助

  • 定期水印- AssignerWithPeriodicWatermarks[T]
  • 标点水印- AssignerWithPunctuatedWatermarks[T]
德林

两种类型的水印之间的主要区别在于getWatermark调用方法的方式/时间

周期性水印

随着周期性水印,弗林克称getCurrentWatermark(),在固定时间间隔,独立的事件流的。该间隔使用

ExecutionConfig.setAutoWatermarkInterval(millis)

当您的水印(甚至部分地)取决于处理时间时,或者当您需要发送水印时,即使一段时间没有收到任何事件/元素,都可以使用此类。

标点符号

带有标点符号的水印,FlinkcheckAndGetWatermark() 在每个新事件上调用,即在调用之后assignWatermark()仅当checkAndGetWatermark返回的非空值大于最后一个水印时,才会发出实际水印。

这意味着,如果一段时间内未收到任何新元素,则不会发出水印。

如果某些特殊元素充当表示事件时间进度的标记,并且要在特定事件上专门发出水印,请使用此类。例如,您可以在传入流中具有标记序列结束的标志。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

Apache Beam中的后水印触发器和默认触发器之间有什么区别?

Apache Flink 中帶有 TumblingWindow 的水印

为什么我的水印没有在我的 Apache Flink 键控流中推进?

Apache Flink:DataSet API中的groupBy和partitioning有什么区别?

Apache Flink:数据输出API中的副输出和split()有什么区别?

Apache Flink:水印,删除延迟事件和允许的延迟

Apache Spark中的forEachAsync和forEachPartitionAsync有什么区别?

Apache Spark中的join和cogroup有什么区别

Apache Tiles中的insertDefinition和importAttribute有什么区别?

Apache Royale中的id和localId有什么区别?

OSGi:Apache Felix和Apache Karaf有什么区别?

Apache Mahout和Apache Spark的MLlib有什么区别?

Apache flume和Apache Storm有什么区别?

Apache Web Server和Apache HTTPD有什么区别?

在Apache Spark中没有水印的滑动窗口?

Apache flink 对水印空闲度的理解以及与有界持续时间和窗口持续时间的关系

具有 groupId `org.apache.bahir` 和 `org.apache.flink` 的两个 Flink Redis 接收器依赖项之间有什么区别?

Red Hat AMQ和Apache ActiveMQ有什么区别?

Apache Ignite和Tachyon有什么区别

Apache Commons Bag和Guava MultiSet有什么区别?

Apache Mesos,Mesosphere和DCOS有什么区别?

Apache Karaf 2和3之间有什么区别?

Apache Camel和JBoss Fuse有什么区别?

Apache Beam:DoFn和SimpleFunction有什么区别?

Apache的Mesos和Google的Kubernetes有什么区别

apache Ambari Server和Agent有什么区别

apache cordova和ionic有什么区别?

Apache Impala和Cloudera Impala有什么区别?

apache2和httpd有什么区别?