提交后Spark如何接受输入

塞尔隆

我正在设计一个应用程序,该应用程序需要非常快速的响应,并且需要在给定一个输入(命令)的情况下从hadoop文件系统中检索和处理大量数据(> 40G)。

我在想,是否有可能使用spark在分布式内存中捕获如此大量的数据,并让应用程序始终运行。如果我给应用程序一个命令,它可能会开始根据输入来处理数据。

我认为捕获如此大的数据不是问题。但是,如何让应用程序运行并接受输入?

据我所知,“ spark-submit”命令后什么也做不了。

马里乌斯

您可以尝试spark作业服务器命名对象以将数据集缓存在分布式内存中,并在各种输入命令中使用它。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章