我想将一个 dataframe1 中的“pitid”与另一个 dataframe2 的“pitid”进行比较，并想提取 dataframe1 中缺少的行。
数据框1：
| id|marks|name| pitid|
+---+-----+----+-----------+
| 1| 1| FR| 1496875194|
| 2| 1| US| -744211593|
| 5| 2| DE|-1433680238|
| 4| 1| DE| -366408878|
| 3| 3| DE| 526286357|
+---+-----+----+-----------+
数据框2：
| id|marks|name| pitid|
+---+-----+----+-----------+
| 1| 1| FR| 1496875194|
| 7| 9| HY| -816101137|
| 6| 5| FE| 1044793796|
| 2| 1| US| -744211593|
| 5| 2| DE|-1433680238|
| 4| 1| DE| -366408878|
| 3| 3| DE| 526286357|
+---+-----+----+-----------+
预期输出：
| 7| 9| HY| -816101137|
| 6| 5| FE| 1044793796|
您可以使用 joins
val diff = df2.join(df1,df2.col("pitid")!=df1.col("pitid"),"left")
如果所有列的值在两个数据框中都相同，那么您可以使用 except
df2.subtract(df1)
两者都将在 dataframe2 中提供记录，但不在 dataframe1 中
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句