Apache Spark中的列参考

拉吉数据

通过仅按列名引用列和使用如下所示的$“符号开头之间有什么区别?

df.select(“ name”)。show()和df.select($“ name”)。show()

我在下一页上读到,它实际上创建了与数据集没有关联的自由列引用。

https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-Column.html

在这种情况下,“ $”代表什么?它在内部做什么?我尝试从Spark页面获取信息,但它没有提供太多信息。

任何帮助了解这一点表示赞赏。感谢您的帮助。

戴夫·坎顿

如您在提供的页面中所述,美元符号借助class将列名转换为Column对象SQLContext.implicits$

当在数据框内现有列的select方法中使用它(不构造表达式)时,两者df.select($"name")df.select("name")都是等效的,因为这两种情况下select方法都会重载。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章