如何配置检查点以重新部署Spark Streaming应用程序?

王斌|

我正在使用Spark流计算唯一用户。我使用updateStateByKey,所以我需要配置一个检查点目录。在启动应用程序时,我还从检查点加载了数据,如doc中的示例所示

// Function to create and setup a new StreamingContext
def functionToCreateContext(): StreamingContext = {
    val ssc = new StreamingContext(...)   // new context
    val lines = ssc.socketTextStream(...) // create DStreams
    ...
    ssc.checkpoint(checkpointDirectory)   // set checkpoint directory
    ssc
}

// Get StreamingContext from checkpoint data or create a new one
val context = StreamingContext.getOrCreate(checkpointDirectory, functionToCreateContext _)

这里的问题是,如果更改了我的代码,那么我将重新部署该代码,无论更改了多少代码,都会加载检查点吗?或者,我需要使用自己的逻辑来持久化数据并在下一次运行中加载它们。

如果我使用自己的逻辑来保存和加载DStream,那么如果应用程序在失败时重新启动,那么从检查点目录和我自己的数据库中加载的数据都不会吗?

宣惠范

该检查点本身包括您的元数据,rdd,dag甚至您的逻辑。如果您更改逻辑并尝试从最后一个检查点运行它,则很有可能会遇到异常。如果要使用自己的逻辑将数据保存为检查点的某个位置,则可能需要执行spark操作以将检查点数据推送到任何数据库,在下一次运行中,将检查点数据作为初始RDD加载(以防正在使用updateStateByKey API)并继续您的逻辑。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

重新部署应用程序时,Bouncycastle无法加载

重新启动Spark Streaming应用程序的最佳方法是什么?

如何使用RDD检查点在Spark应用程序之间共享数据集?

Spark Streaming Cleaning RDD检查点目录

如何从Dataproc上的检查点重新启动Spark Streaming作业?

从spark-shell(pyspark)查询Spark Streaming应用程序

如何在Google App Engine上重新部署应用程序?

如何访问Spark Streaming应用程序的统计信息终结点?

如何在IntelliJ IDEA中使用Kafka Direct Stream运行Spark Streaming应用程序?

如何将Spark Streaming应用程序的输出写入单个文件

在Spark Streaming应用程序中联接数据的最佳方法是什么?

Blazor应用程序重新部署的最佳做法

Spark Streaming独立应用程序和依赖项

使用Flume + Spark Streaming的示例字数统计应用程序

如何在jboss EAP 6.3.0 GA中使用管理控制台重新部署应用程序?

我的Spark Streaming应用程序中的OOM异常

部署/重新部署后获取PM2应用程序的正确状态

如何部署Spark Streaming应用程序?

如何在Spark Streaming应用程序中从Kafka接收Java对象

docker tomcat重新部署应用程序

如果 Spark-streaming 应用程序遇到一个巨大的文件会发生什么?

在 Java 应用程序中删除/关闭 Firebase(用于热重新部署)

Spark Streaming 应用程序在同时向 Cassandra 写入和读取时卡住

如何删除 spark -streaming 应用程序从 eventhub 接收消息生成的进度目录

如何为 Spark Structured Streaming 应用程序构建 uber jar 到 MongoDB 接收器

如何设置流应用检查点到 Azure 存储?

Spark Streaming 应用程序启动时如何得到通知?

Spark Streaming 不会在应用程序 UI 上显示任何记录

在 GitHub 页面上重新部署 React 应用程序