Apache Spark和gRPC

导航

我正在编写一个使用Apache Spark的应用程序。为了与客户端通信,我想使用gRPC。

在我的Gradle构建文件中,我使用

dependencies {
  compile('org.apache.spark:spark-core_2.11:1.5.2')
  compile 'org.apache.spark:spark-sql_2.11:1.5.2'
  compile 'io.grpc:grpc-all:0.13.1'
  ...
}

忽略gRPC时,一切正常。但是,使用gRPC时,我可以创建该构建,但不能执行该构建,因为软件包使用了各种版本的netty。Spark似乎使用netty-all,其中包含的方法与gRPC使用的方法相同(但签名可能不同)。

我尝试了阴影(使用com.github.johnrengelman.shadow),但是仍然不起作用。我该如何解决这个问题?

纳米特勒

这类事情的一般解决方案是重定位。请参阅有关protobuf依赖项的类似问题的答案:https ://groups.google.com/forum/#! topic/ grpc-io/ABwMhW9bU34

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章