映射到列的键和值到行的键

DiR95

我在输入中有一个数据框,其中包含id列和Map列。

地图:

key1 -> value1, key2 -> value2 ... key100 -> value100,
key1 -> value3, key2 -> value4 ... key100 -> value200

我想要输出以下结果:

id   key1     key2    ...  key100
1    value1   value2       value100
2    value3   value4       value200

感谢您的退货,祝您有美好的一天。

复活

这是一个基于Spark内置函数的解决方案:

import org.apache.spark.sql.functions.{monotonically_increasing_id, explode, first}

val df = Seq(
    (Map("key1" -> "value1", "key2" -> "value2", "key3" -> "value3", "key4" -> "value4")),
    (Map("key1" -> "value1", "key2" -> "value2")),
    (Map("key1" -> "value1", "key3" -> "value3")))
.toDF("map_data")

df.withColumn("id", monotonically_increasing_id)
  .select($"id", explode($"map_data"))
  .groupBy("id")
  .pivot("key")
  .agg(first("value"))
  .show(false)

// +---+------+------+------+------+
// |id |key1  |key2  |key3  |key4  |
// +---+------+------+------+------+
// |0  |value1|value2|value3|value4|
// |1  |value1|value2|null  |null  |
// |2  |value1|null  |value3|null  |
// +---+------+------+------+------+

说明

  1. withColumn("id", monotonically_increasing_id) :为每行添加唯一的ID。
  2. explode($"map_data")map_data将其爆炸将创建另外两个列,keyvalue
  3. groupBy...pivot :按ID分组并按键旋转

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

TOP 榜单

  1. 1

    来自Microsoft Office加载项taskpane.js的MySQL驱动程序模块的空引用

  2. 2

    使用AWS Cognito和React的仅限Facebook / Google的登录名(无用户名/密码)

  3. 3

    创建Windows Phone 8应用并将其连接到数据库的最佳方法(最好是SQL Server)

  4. 4

    为什么Java中的System.out.println()打印到控制台?

  5. 5

    卷曲函数无法解析来自bash中变量的代理

  6. 6

    是什么在Android的consumer-rules.pro和proguard-rules.pro之间的区别?

  7. 7

    设置与Apache POI Excel表散点图标记图标的颜色

  8. 8

    将Qt Pyside2与asyncio await语法一起使用?

  9. 9

    崇高的文字+蟒蛇的蟒蛇

  10. 10

    任务':app:minifyReleaseWithR8'.java.lang.NullPointerException的执行失败(无错误消息)

  11. 11

    OpenJDK的和AdoptOpenJDK的区别

  12. 12

    大型数据集缓存到Spark内存中时,“超出了GC开销限制”(通过sparklyr和RStudio)

  13. 13

    “执行测试CMAKE_HAVE_LIBC_PTHREAD”失败实际上是什么意思?

  14. 14

    使用Core 2.2中的Identity,如何在关闭浏览器15分钟后保持会话活动?

  15. 15

    React中的ForwardRefExoticComponent和ForwardRefRenderFunction有什么区别?

  16. 16

    猫鼬查找结果,然后将字段替换为findOne

  17. 17

    如何降级Google Colab的Torch版本

  18. 18

    Keras提前停止回调错误,val_loss指标不可用

  19. 19

    如何避免VSCode中的“导入路径不能以.ts扩展名结尾”错误?

  20. 20

    Nuxt.JS:如何在页面中获取路由URL参数

  21. 21

    是否有为什么会AccessibilityManager.sInstance导致内存泄漏的一个原因?

热门标签

归档