根据pyspark中另一列的值编辑具有相同id的列的所有行的值

假设val1列仅包含唯一值Y，N您可以将数据框分组id并聚合val1使用countDistinct以计算唯一值，然后创建一个flagged对应于不同计数> 1的条件的新列，最后join这个新列与原始数据框得到结果

from pyspark.sql import functions as F

counts = df.groupBy('id').agg(F.countDistinct('val1').alias('flagged'))
df = df.join(counts.withColumn('flagged', F.col('flagged') > 1), on='id')

如果 columnval1可能包含其他值以及Y, N，则首先屏蔽不在Y和中的值N：

vals = F.when(F.col('val1').isin(['Y', 'N']), F.col('val1'))

counts = df.groupBy('id').agg(F.countDistinct(vals).alias('flagged'))
df = df.join(counts.withColumn('flagged', F.col('flagged') > 1), on='id')

>>> df.show()

| id|val1|flagged|
+---+----+-------+
|  1|   Y|   true|
|  1|   N|   true|
|  2|   N|   true|
|  2|   Y|   true|
|  2|   N|   true|
+---+----+-------+

PS：我还稍微修改了您的输出，因为flagged使用布尔值命名的列更有意义