我不知道为什么有一个用于Flink的AvroKeyValueSinkWriter，但是没有一个带有常规架构（非键值）的简单AvroSinkWriter。
我用它来生成近流的Avro文件，并且每小时将它们批处理一次到Parquet文件中。我使用Flink的BucktingSink。
键值架构在生成Parquet时给了我一些麻烦，我错过了什么吗？谢谢！
对于Flink，您将找不到太多帮助。
该文档依赖于javadoc，示例几乎都是一类的，例如字数统计和其他废话。
我还没有看到“专业”的flink编码器可以做什么，以了解执行某些最简单任务的正确方法。从Kafka读取数据，解析avro或json记录，然后将特定数据放入文件系统或hdfs会很棒。您将找不到任何此类示例。
您会认为，现在可以在网上搜索一些可靠的复杂示例。
这些项目大多数都需要您通读所有源代码并尝试找出一种方法。
最后，将Spring引导和阻塞代码导入服务要比购买Flink和某种程度上的Spark容易。
祝您好运。
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句