语法如下:
def func0(x: Int => Int, y: Int)(in: DataFrame): DataFrame = {
in.filter('col > x(y))
}
无法放置'col。“ col”不起作用,而“ col”在以下代码中起作用:
def func1(x: Int)(in: DataFrame): DataFrame = {
in.selectExpr("col", s"col + $x as col1")
}
该'col
表示?
数据框示例只有一个col,col
如果2或3 col呢?显然这里缺少一些东西。告诉我这很简单。
'col
是一种引用名为的列的方式col
,与$"col"
或相同。col("col")
具有名为的列有点混乱col
。
它在Spark 2.3中为我工作
列名为编号的示例
df.show
+------+------+
|letter|number|
+------+------+
| a| 1|
| b| 2|
+------+------+
df.filter('number >1).show
+------+------+
|letter|number|
+------+------+
| b| 2|
+------+------+
与其他表达式相同
import spark.implicits._
df.filter($"number" >1).show
import org.apache.spark.sql.functions
df.filter(col("number") >1).show
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句