在Spark DataFrame中对结构数组进行排序

拉斐尔·罗斯（Raphael Roth）

考虑以下数据帧：

case class ArrayElement(id:Long,value:Double)

val df = Seq(
  Seq(
    ArrayElement(1L,-2.0),ArrayElement(2L,1.0),ArrayElement(0L,0.0)
  )
).toDF("arr")

df.printSchema

root
 |-- arr: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- id: long (nullable = false)
 |    |    |-- value: double (nullable = false)

有没有一种方法排序arr由value其他比使用UDF？

我已经看到org.apache.spark.sql.functions.sort_array，在复杂数组元素的情况下，此方法实际上在做什么？它是否按第一个元素对数组进行排序（即id？）

拉梅什·马哈然（Ramesh Maharjan）

spark函数说：“根据数组元素的自然顺序，按升序对给定列的输入数组进行排序。”

在解释之前，让我们看一下sort_array的一些示例。

+----------------------------+----------------------------+
|arr                         |sorted                      |
+----------------------------+----------------------------+
|[[1,-2.0], [2,1.0], [0,0.0]]|[[0,0.0], [1,-2.0], [2,1.0]]|
+----------------------------+----------------------------+

+----------------------------+----------------------------+
|arr                         |sorted                      |
+----------------------------+----------------------------+
|[[0,-2.0], [2,1.0], [0,0.0]]|[[0,-2.0], [0,0.0], [2,1.0]]|
+----------------------------+----------------------------+

+-----------------------------+-----------------------------+
|arr                          |sorted                       |
+-----------------------------+-----------------------------+
|[[0,-2.0], [2,1.0], [-1,0.0]]|[[-1,0.0], [0,-2.0], [2,1.0]]|
+-----------------------------+-----------------------------+

因此sort_array的排序方式是先检查第一个元素，然后检查第二个元素，依此类推，对已定义列中的数组中的每个元素进行排序

我希望它清楚

本文收集自互联网，转载请注明来源。

如有侵权，请联系 [email protected] 删除。