如何从RDD中删除重复值[PYSPARK]

恐怕我对python一无所知，因此我在此答案中提供的所有引用和代码都是相对于java的。但是，将其转换为python代码并不难。

您应该浏览以下网页。它重定向到Spark的官方网页，该网页提供了Spark支持的所有转换和操作的列表。

如果我没记错的话，最好的方法（以您的情况为准）将使用distinct()转换，该转换将返回一个包含源数据集的不同元素的新数据集（取自链接）。在Java中，它将类似于：

JavaPairRDD<Integer,String> myDataSet = //already obtained somewhere else
JavaPairRDD<Integer,String> distinctSet = myDataSet.distinct();

这样，例如：

Partition 1:

1-y | 1-y | 1-y | 2-y
2-y | 2-n | 1-n | 1-n

Partition 2:

2-g | 1-y | 2-y | 2-n
1-y | 2-n | 1-n | 1-n

将转换为：

Partition 1:

1-y | 2-y
1-n | 2-n 

Partition 2:

1-y | 2-g | 2-y
1-n | 2-n |

当然，您仍然会有多个RDD数据集，每个数据集都包含一个不同元素的列表。