如何使用Java连接Spark DataFrame中的所有列?

乔拉达尼:

这是我对2个特定列所做的操作:

dataSet.withColumn("colName", concat(dataSet.col("col1"), lit(","),dataSet.col("col2") ));

dataSet.columns()重新运行Sting数组,而不是Column数组。我应该如何烧饼List<Column>

谢谢!

Someshwar羽衣甘蓝:

Java具有更详细的语法。试试这个 -

 df.withColumn("colName",concat_ws(",", toScalaSeq(Arrays.stream(df.columns()).map(functions::col).collect(Collectors.toList()))));

使用以下实用工具将Java列表转换为Scala seq-

  <T> Buffer<T> toScalaSeq(List<T> list) {
        return JavaConversions.asScalaBuffer(list);
    }

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

连接dataframe列中的所有字符串

在Map列的Spark DataFrame中,如何使用所有键的常量更新值

如何解析DataFrame列中的所有值?

如何创建宏以遍历Pandas Dataframe中的所有列?

在 Apache Spark DataFrame 中,如何刪除所有非 None 值都相同的所有列?

如何以递归方式获取 Spark DataFrame 中的所有列

当 DataFrame 有列时,如何使用 Java Apache Spark MLlib?

如何遍历pandas dataframe + indexing中除最后一列之外的所有列?

如何使用 for 循环在 Dataframe 的所有列中查找唯一值

如何删除在特定列中具有NA的DataFrame的所有行?

Pyspark DataFrame如何在所有列中删除带有空值的行?

如何在PySpark DataFrame中删除具有空值的所有列?

如何在多索引DataFrame中按级别总计除列中的所有值

在 Spark 中连接所有列并转储为 json

加入后,Spark SQL DataFrame从别名表中删除所有列

Spark,DataFrame:从许多列中获取所有不同的字符串

如何计算DataFrame中的所有流派?

在 DataFrame 中的所有列上使用 groupby()

如何将 dataframe-js 中的所有列值作为数组获取?

如何在DataFrame列中查找所有唯一数据类型?

如何删除字符串dataframe列中第n个开头之后的所有字符?

如何将DataFrame中列的所有值相乘而不是仅根据位置相乘?

如何对pandas Dataframe列中的所有值进行集合并集?

如何在Pandas DataFrame的列的所有行中识别字符串重复?

如何使用usingColumns在Spark中连接嵌套列

如何在带有混合列类型的Pandas Dataframe中删除所有数字列都为零的行?

Scala Spark:汇总所有行中的所有列

在 Spark DataFrame 中添加一个新列,其中包含一列的所有值的总和 - Scala/Spark

如何使用Spark有效地检查列中的所有值?