我有如下的DF熊猫，
id age gender country sales_year
1 None M India 2016
2 23 F India 2016
1 20 M India 2015
2 25 F India 2015
3 30 M India 2019
4 36 None India 2019
我想按ID分组，按照sales_date的形式使用最新的1行，所有非null元素。
预期的输出
id age gender country sales_year
1 20 M India 2016
2 23 F India 2016
3 30 M India 2019
4 36 None India 2019
在pyspark中，
df = df.withColumn('age', f.first('age', True).over(Window.partitionBy("id").orderBy(df.sales_year.desc())))
但是我在熊猫上也需要同样的解决方案。
编辑::所有列都可能出现这种情况。不只是年龄。我需要它为所有id拾取最新的非null数据（id存在）。
df1 = df.groupby('id', as_index=False).first()
print (df1)
id age gender country sales_year
0 1 20.0 M India 2016
1 2 23.0 F India 2016
2 3 30.0 M India 2019
3 4 36.0 NaN India 2019
如果列sales_year未排序：
df2 = df.sort_values('sales_year', ascending=False).groupby('id', as_index=False).first()
print (df2)
id age gender country sales_year
0 1 20.0 M India 2016
1 2 23.0 F India 2016
2 3 30.0 M India 2019
3 4 36.0 NaN India 2019
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句