在pyspark中使用agg在同一列上进行多个聚合

苏波罗

我无法使用 agg 获得多个指标,如下所示。

table.select("date_time")\
    .withColumn("date",to_timestamp("date_time"))\
    .agg({'date_time':'max', 'date_time':'min'}).show()

在此处输入图片说明

我看到第二个聚合覆盖了第一个聚合,有人可以帮助我在同一列上获得多个聚合吗?

索福克勒斯

我无法复制并确保它有效,但我建议不要使用 adict来进行聚合,试试这样:

table.select("date_time")\
    .withColumn("date",to_timestamp("date_time"))\
    .agg(min('date_time'), max('date_time')).show()

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

使用pandas GroupBy.agg()对同一列进行多次聚合

在同一列上搜索多个条件?

在spark数据帧的同一列上进行多个聚合操作

如何在python pandas的同一列上进行分组并取唯一计数和某个值计数作为聚合?

同一列使用多个条件进行计数

按同一列上的多个值过滤

SQL:使用条件在同一列上进行计数和分组

在mysql中使用where子句的同一列上的多个连接不起作用

如何在同一列上创建使用不同聚合算法的SSRS报告?

当groupby和agg在同一列上时,列顺序更改

Pandas groupby,如何在多个列上进行多个聚合?

按组在同一列上进行管道操作

使用Pandas在列上进行多个聚合

在postgres中使用json数组在同一张表上进行多个可选联接

Pandas / Matplotlib在一个列上进行注释,并在另一列上进行标签

在MySQL的同一列上使用sum,count

重复搜索并在另一列上进行二级检查

使用同一列中的多个LIKE进行查询?

如何在MySQL中表格的一列上进行搜索调用?

如何正确加入以在同一列上进行两次聚合?

在CSV文件的一列上进行计算,然后使用python将其添加到文件中

MySQL使用AND运算符在同一列上多个WHERE IN

如何根据特定条件在一列上进行汇总来重塑数据集?

在多个列上进行不同的查询,并在Postgres中聚合其他列

在MySQL中的一列上进行自定义排序

在同一列上使用多个 OR 和 AND 进行选择

在具有不同 WHERE 的一列上进行多项选择

如何将聚合值分配给 SQL 中同一列上的多个变量?

在另一个矩阵的每一列上进行 Numpy 矩阵减法