如果 Spark-streaming 应用程序遇到一个巨大的文件会发生什么？
安吉特·凯特里
让我们考虑以下代码：
val streamingContext = new StreamingContext(sparkConf, Seconds(frequency))
val stream = streamingContext.textFileStream("/abc/def")
比如说，如果一个 1 TB 的文件突然出现在这个目录中，会发生什么？它是如何处理的，或者它是如何失败的？
与此相关的是，如果 Spark 无法跟上传入数据的速度，会发生什么情况？
巴韦什
Spark Streaming 接收数据流，将数据分批，然后由 Spark 引擎处理，分批生成最终的结果流。
这应该不会影响处理它会将数据保留在队列中进行处理，如果处理需要很长时间队列会增加
检查点将负责故障转移机制
注意：在极端情况下，如果它无法处理输入请求，它将失败，这取决于您的集群处理能力。
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
编辑于
相关文章
TOP 榜单
- 1
IE 11中的FormData未定义
- 2
如何一次从多个文本框中获取值？
- 3
在 Python 2.7 中。如何从文件中读取特定文本并分配给变量
- 4
OpenCv：改变 putText() 的位置
- 5
Redux动作正常，但减速器无效
- 6
如何从JavaScript中的MP3文件读取元数据属性？
- 7
如何使用Redux-Toolkit重置Redux Store
- 8
将加号/减号添加到jQuery菜单
- 9
OpenGL纹理格式的颜色错误
- 10
获取并汇总所有关联的数据
- 11
超过时间限制错误C ++
- 12
ActiveModelSerializer仅显示关联的ID
- 13
在交互式Python Shell中获得最后结果
- 14
如何开始为Ubuntu开发
- 15
去噪自动编码器和常规自动编码器有什么区别？
- 16
Excel 2016图表将增长与4个参数进行比较
- 17
算术中的c ++常量类型转换
- 18
使用因子时如何在y轴上的ggplot中插入count或％
- 19
TreeMap中的自定义排序
- 20
如何在R中转置数据
- 21
在 React Native Expo 中使用 react-redux 更改另一个键的值
我来说两句