没有接收器的流数据流管道
汤玛士
我们有一个运行在Google Cloud Dataflow工作者上的流数据流管道，该管道需要从PubSub订阅中读取，对消息进行分组并将其写入BigQuery。内置的BigQuery Sink无法满足我们的需求，因为我们需要针对每个组指定特定的数据集和表格。由于流传输管道不支持自定义接收器，因此似乎唯一的解决方案是在ParDo中执行插入操作。像这样：
是否存在管道中没有接收器的已知问题，或者在编写此类管道时需要注意的任何事情？
亚历克斯·阿马托（Alex Amato）
编写没有接收器的管道应该没有任何问题。实际上，接收器是ParDo流式传输的一种。
我建议您使用自定义ParDo并将BigQuery API与自定义逻辑一起使用。这是BigQuerySink的定义，您可以使用此代码作为起点。
您可以定义类似于StreamingWriteFn的自己的DoFn来添加自定义ParDo逻辑，该逻辑将写入适当的BigQuery数据集/表。
请注意，这是使用Reshuffle而不是GroupByKey。我建议您使用Reshuffle，它也会按键分组，但避免不必要的窗口延迟。在这种情况下，这意味着元素应在输入时立即写出，而无需额外的缓冲/延迟。此外，这使您可以在运行时确定BQ表名称。
编辑：我不建议使用内置的BigQuerySink写入不同的表。建议您在自定义DoFn中使用BigQuery API，而不要使用BigQuerySink
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
编辑于
相关文章
TOP 榜单
- 1
蓝屏死机没有修复解决方案
- 2
计算数据帧中每行的NA
- 3
UITableView的项目向下滚动后更改颜色，然后快速备份
- 4
Node.js中未捕获的异常错误，发生调用
- 5
在 Python 2.7 中。如何从文件中读取特定文本并分配给变量
- 6
Linux的官方Adobe Flash存储库是否已过时？
- 7
验证REST API参数
- 8
ggplot：对齐多个分面图-所有大小不同的分面
- 9
Mac OS X更新后的GRUB 2问题
- 10
通过 Git 在运行 Jenkins 作业时获取 ClassNotFoundException
- 11
带有错误“ where”条件的查询如何返回结果？
- 12
用日期数据透视表和日期顺序查询
- 13
VB.net将2条特定行导出到DataGridView
- 14
如何从视图一次更新多行（ASP.NET - Core）
- 15
Java Eclipse中的错误13，如何解决？
- 16
尝试反复更改屏幕上按钮的位置 - kotlin android studio
- 17
离子动态工具栏背景色
- 18
应用发明者仅从列表中选择一个随机项一次
- 19
当我尝试下载 StanfordNLP en 模型时，出现错误
- 20
python中的boto3文件上传
- 21
在同一Pushwoosh应用程序上Pushwoosh多个捆绑ID
我来说两句