Flink中的advanceToEndOfEventTime标志

助力车

我正在查看JobClient的最新API,并且advanceToEndOfEventTime在method中看到了flag stopWithSavepoint如果我理解正确,这将导致作业刷新基于时间的窗口。因此,如果我们从此保存点开始,则作业将从没有任何元素的窗口开始。在当前的用例中,我认为这不是理想的-在我们所有的应用程序中,恢复状态至关重要,因为在重新启动之后就是如此。我想知道用例是什么?

大卫·安德森

一种可能有用的情况是,您知道工作已经完成,并且不会再有其他输入了。如果源都是有限的(例如文件),则Flink将自动将当前水印前进到Watermark.MAX_WATERMARK,并停止作业。

但是对于可能不受限制的流媒体源,即使它们受到限制,也不会发生这种情况-您想停止的工作就在那儿,等待更多事件处理(永远不会到来),并保持最终状态您想冲洗掉的结果。advanceToEndOfEventTime选项可让您彻底关闭此功能。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章