Kedro是否支持检查点/结果缓存?

执行爵士

假设我们有多个长期运行的管道节点。检查点或缓存中间结果似乎很简单,因此,当更改或添加检查点之后的节点时,仅必须再次执行这些节点。

Kedro是否提供功能来确保在我运行管道时仅执行那些已更改的步骤?反过来说,有没有办法确保所有已更改的步骤都执行?

假设产生一些中间结果的管道发生了变化,当我根据第一个的输出执行管道时,是否会执行?

TL; DR: Kedro是否有类似makefile的跟踪,该跟踪需要做什么和不需要做什么?

我认为我的问题类似于问题341,但是我不需要支持循环图。

Zain Patel

您可能想看看分区数据集文档旁边IncrementalDataSet,特别是有关增量数据集的增量加载的部分,该部分带有“检查点”的概念,尽管检查点是手动步骤,而不是自动化步骤makefile

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章