Spark：有条件地将列添加到数据框

mcmcmc 发表于 Dev

109

我正在尝试获取我的输入数据：

A    B       C
--------------
4    blah    2
2            3
56   foo     3

并根据B是否为空在末尾添加一列：

A    B       C     D
--------------------
4    blah    2     1
2            3     0
56   foo     3     1

通过将输入数据帧注册为临时表，然后键入一个SQL查询，我可以轻松地做到这一点。

但是我真的很想知道如何仅使用Scala方法来执行此操作，而不必在Scala中键入SQL查询。

我已经尝试过.withColumn，但是我无法做到这一点。

meth

尝试withColumn使用以下功能when：

val sqlContext = new SQLContext(sc)
import sqlContext.implicits._ // for `toDF` and $""
import org.apache.spark.sql.functions._ // for `when`

val df = sc.parallelize(Seq((4, "blah", 2), (2, "", 3), (56, "foo", 3), (100, null, 5)))
    .toDF("A", "B", "C")

val newDf = df.withColumn("D", when($"B".isNull or $"B" === "", 0).otherwise(1))

newDf.show() 表演

+---+----+---+---+
|  A|   B|  C|  D|
+---+----+---+---+
|  4|blah|  2|  1|
|  2|    |  3|  0|
| 56| foo|  3|  1|
|100|null|  5|  0|
+---+----+---+---+

我添加了(100, null, 5)用于测试isNull案例的行。

我曾尝试使用此代码，Spark 1.6.0但正如的代码所述when，它适用于之后的版本1.4.0。

本文收集自互联网，转载请注明来源。

如有侵权，请联系 [email protected] 删除。