'Spark SQL中'col(带有刻度)表达式是什么意思?

蓝色幽灵

语法如下:

def func0(x: Int => Int, y: Int)(in: DataFrame): DataFrame = {
    in.filter('col > x(y))
}  

无法放置'col。“ col”不起作用,而“ col”在以下代码中起作用:

def func1(x: Int)(in: DataFrame): DataFrame = {
    in.selectExpr("col", s"col + $x as col1")
}

'col表示?

数据框示例只有一个col,col如果2或3 col呢?显然这里缺少一些东西。告诉我这很简单。

侦察兵

'col是一种引用名为的列的方式col,与$"col"相同col("col")具有名为的列有点混乱col

它在Spark 2.3中为我工作

列名为编号的示例

df.show
+------+------+
|letter|number|
+------+------+
|     a|     1|
|     b|     2|
+------+------+

df.filter('number >1).show
+------+------+
|letter|number|
+------+------+
|     b|     2|
+------+------+

与其他表达式相同

import spark.implicits._
df.filter($"number" >1).show

import org.apache.spark.sql.functions
df.filter(col("number") >1).show

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

SQL表达式中的括号是什么意思?

变量:表达式在 Python 中是什么意思?

\,^ @在sed表达式中是什么意思

此表达式(({{} + [])[+ []])在JavaScript中是什么意思?

表达式()->()= {}在Swift中是什么意思?

“ \?”在正则表达式中是什么意思?

在Linq表达式中=>是什么意思

'.' 是什么意思 在表达式中的 60 之后是什么意思?

Oracle:此表达式“ <>”在SQL查询中是什么意思?

(?!a){0}是什么?在Java正则表达式中是什么意思?

在PHP中list()函数有快捷方式吗?表达式开头的方括号是什么意思?

Python在表达式中“和/或”是什么意思,(不是i%2)会测试什么?

$ 1,$ 2等在正则表达式中是什么意思?

在Linux脚本上的if表达式中,-z值是什么意思?

bash中的$(<“ dir / file”)表达式是什么意思?

bash中的表达式$ {MYVAR:+-x}是什么意思?

livedata observable Kotlin 的 lambda 表达式中的“让”是什么意思

春季安全网址中的双星正则表达式是什么意思

正则表达式中的^和$是什么意思?

这个算术表达式是什么意思:A + = B ++ == 0在C ++中;

正则表达式中的“ g”标志是什么意思?

JavaScript 表达式中的正斜杠是什么意思?

以下表达式在scala中是什么意思?

正则表达式中的“转义字符串”是什么意思?(Javascript)

/ gi在正则表达式中是什么意思?

**(dict(d1,** d2))表达式中的**是什么意思?

正则表达式模式“ [\\ P {L}] +”在Java中是什么意思?

角表达式{{::}}中的两个冒号是什么意思?

html标记中的百分号表达式是什么意思?