搜索
搜索

如何在Scala中按列求和数组的值？

Raviteja Jidigam 发表于 Dev
58
拉维特贾（Raviteja Jidigam）

我是Spark和Scala的新手，并试图解决以下问题，但无法解决。请帮我解决一下这个。感谢您的帮助。

要求是按列求和。下面的代码生成

val first = vlist.map(_.select("value"))
first.map(_.show())

输出：

    first: Array[org.apache.spark.sql.DataFrame] = 
Array([value: array<double>], [value: array<double>])

+--------------------+
|               value|
+--------------------+
|[-0.047363, 0.187...|
|[0.043701, -0.114...|
|[-0.006439, 0.031...|
|[0.168945, 0.0639...|
|[0.049805, 0.0664...|
|[-0.054932, -0.11...|
|[0.094727, -0.118...|
|[0.136719, 0.1484...|
|[-0.12793, 0.2812...|
|[-0.071289, -0.07...|
|[0.115234, -0.012...|
|[0.253906, 0.0385...|
|[-0.062988, 0.031...|
|[0.110352, 0.2480...|
|[0.042725, 0.2949...|
|[-0.074219, 0.112...|
|[0.072754, -0.092...|
|[-0.063965, 0.058...|
|[0.083496, -0.007...|
|[0.043945, 0.1767...|
+--------------------+
only showing top 20 rows
+--------------------+
|               value|
+--------------------+
|[0.045654, -0.145...|
|[0.053467, 0.0120...|
|[0.033203, -0.089...|
|[-0.08252, 0.0224...|
|[0.182617, -0.044...|
|[0.136719, 0.1484...|
|[0.112793, -0.130...|
|[0.096191, -0.028...|
|[-0.007141, 0.004...|
|[0.115234, -0.012...|
|[0.130859, 0.0084...|
|[-0.020874, 0.021...|
|[-0.267578, 0.084...|
|[-0.015015, 0.193...|
|[0.036865, 0.0201...|
|[0.205078, 0.0042...|
|[-0.013733, -0.07...|
|[0.175781, 0.2128...|
|[-0.061279, -0.06...|
|[0.058838, 0.3574...|
+--------------------+

下一步应该是列中所有值的总和。因此，理想情况下，我应该排成一行。

我尝试了以下代码：

first.toList.transpose.map(_.sum)

输出： 

<console>:183: error: No implicit view available from   
 org.apache.spark.sql.DataFrame => scala.collection.GenTraversableOnce[B].
   first.toList.transpose.map(_.sum)

另外，我尝试将值划分为单独的列（出于测试目的，仅占用4列），并应用了agg函数，该函数无法正常运行，如下所示：

    var table = first
for (i <- 0 to 3) {
    table = table.map(_.withColumn("vec_" + i, $"value"(i)))
}


var inter = table.map(_.drop("value"))
inter.map(_.show())

var exprs = inter.map(_.columns.map(_ -> "sum").toMap)
inter.agg(exprs)

输出：

table: Array[org.apache.spark.sql.DataFrame] = 
Array([value: array<double>], [value: array<double>])
inter: Array[org.apache.spark.sql.DataFrame] = 
Array([vec_0: double, 
vec_1: double ... 2 more fields], 
[vec_0: double,
 vec_1: double ... 2 more fields])
+---------+---------+---------+---------+
|    vec_0|    vec_1|    vec_2|    vec_3|
+---------+---------+---------+---------+
|-0.047363|   0.1875| 0.002258| 0.173828|
| 0.043701|-0.114258| 0.067383|-0.060547|
|-0.006439| 0.031982| 0.012878| 0.020264|
| 0.168945| 0.063965|-0.084473| 0.173828|
| 0.049805| 0.066406|  0.03833|  0.02356|
|-0.054932|-0.117188| 0.027832| 0.074707|
| 0.094727|-0.118652| 0.118164| 0.253906|
| 0.136719| 0.148438| 0.114746| 0.069824|
| -0.12793|  0.28125|  0.01532|-0.046631|
|-0.071289| -0.07373| 0.199219|-0.069824|
| 0.115234|-0.012512|-0.022949| 0.194336|
| 0.253906| 0.038574|-0.030396| 0.248047|
|-0.062988| 0.031494|-0.302734| 0.030396|
| 0.110352| 0.248047| -0.00769|-0.031494|
| 0.042725| 0.294922| 0.019653| 0.030884|
|-0.074219| 0.112793| 0.094727| 0.071777|
| 0.072754|-0.092773|-0.174805|-0.022583|
|-0.063965| 0.058838| 0.086914| 0.320312|
| 0.083496|-0.007294|-0.026489| -0.05957|
| 0.043945| 0.176758| 0.094727|-0.083496|
+---------+---------+---------+---------+
only showing top 20 rows
+---------+---------+---------+---------+
|    vec_0|    vec_1|    vec_2|    vec_3|
+---------+---------+---------+---------+
| 0.045654|-0.145508|  0.15625| 0.166016|
| 0.053467| 0.012024|  -0.0065| 0.008545|
| 0.033203|-0.089844|-0.294922| 0.115234|
| -0.08252| 0.022461|-0.149414| 0.099121|
| 0.182617|-0.044922| 0.138672| 0.011658|
| 0.136719| 0.148438| 0.114746| 0.069824|
| 0.112793|-0.130859| 0.066895| 0.138672|
| 0.096191|-0.028687|-0.108398| 0.145508|
|-0.007141| 0.004486|  0.02063| 0.010803|
| 0.115234|-0.012512|-0.022949| 0.194336|
| 0.130859| 0.008423| 0.033447|-0.058838|
|-0.020874| 0.021851|-0.083496|-0.072266|
|-0.267578| 0.084961| 0.109863| 0.086914|
|-0.015015| 0.193359| 0.014832|  0.07373|
| 0.036865| 0.020142|  0.22168| 0.155273|
| 0.205078| 0.004211| 0.084473| 0.091309|
|-0.013733|-0.074219| 0.017334|-0.016968|
| 0.175781| 0.212891|-0.071289| 0.084961|
|-0.061279|-0.068359| 0.120117| 0.191406|
| 0.058838| 0.357422| 0.128906|-0.162109|
+---------+---------+---------+---------+
only showing top 20 rows
res4164: Array[Unit] = Array((), ())
exprs: Array[scala.collection.immutable.Map[String,String]] = Array(Map(vec_0 -> sum, vec_1 -> sum, vec_2 -> sum, vec_3 -> sum), Map(vec_0 -> sum, vec_1 -> sum, vec_2 -> sum, vec_3 -> sum))
<console>:189: error: value agg is not a member of Array[org.apache.spark.sql.DataFrame]
       inter.agg(exprs)
             ^

请帮我解决一下这个。

我相信应该有一个简单的方法来做到这一点。提前致谢。

添加样本输入和输出。

样本输入：

first: Array[org.apache.spark.sql.DataFrame] = 
Array([value: array<double>], [value: array<double>])

        value
        1,2,3,4,5,6 7,8
        1,2,3,4,5,6,7,8

        value 
        1,2,3,4,5,6 7,8
        1,2,3,4,5,6,7,8

样本输出：

first: Array[org.apache.spark.sql.DataFrame] = 
Array([value: array<double>], [value: array<double>])

        value
        2,4,6,8,10,14,16

        value
        2,4,6,8,10,14,16
拉维特贾（Raviteja Jidigam）

下面的代码工作。感谢那些花时间在此上的人。欣赏它。

val first = vlist.map(_.select("value"))
first.map(_.show())
var table = first
for (i <- 0 to 3) {
    table = table.map(_.withColumn("vec_" + i, $"value"(i)))
}


var inter = table.map(_.drop("value"))
inter.map(_.show())

//var exprs = inter.map(_.columns.map(_ -> "sum").toMap)
//inter.agg(exprs)

**val tab = inter.map(_.groupBy().sum())
tab.map(_.show())**


first: Array[org.apache.spark.sql.DataFrame] = Array([value: array<double>], [value: array<double>])
table: Array[org.apache.spark.sql.DataFrame] = Array([value: array<double>], [value: array<double>])
inter: Array[org.apache.spark.sql.DataFrame] = Array([vec_0: double, vec_1: double ... 2 more fields], [vec_0: double, vec_1: double ... 2 more fields])
tab: Array[org.apache.spark.sql.DataFrame] = Array([sum(vec_0): double, sum(vec_1): double ... 2 more fields], [sum(vec_0): double, sum(vec_1): double ... 2 more fields])
+------------------+------------------+------------------+------------------+
|        sum(vec_0)|        sum(vec_1)|        sum(vec_2)|        sum(vec_3)|
+------------------+------------------+------------------+------------------+
|2.5046410000000003|2.1487149999999997|1.0884870000000002|3.5877090000000003|
+------------------+------------------+------------------+------------------+
+------------------+------------------+----------+------------------+
|        sum(vec_0)|        sum(vec_1)|sum(vec_2)|        sum(vec_3)|
+------------------+------------------+----------+------------------+
|0.9558040000000001|0.9843780000000002|  0.545025|0.9979860000000002|
+------------------+------------------+----------+------------------+
res325: Array[Unit] = Array((), ())

本文收集自互联网，转载请注明来源。

如有侵权，请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如何在Spark / Scala中对数据框的一列的值求和

如何在PHP中用数量键求和数组？

如何在Ruby中求和数字数组？

如何在Scala的地图列表中对值求和并将其按关键值分组？

如何对按熊猫中的分类列分组的值求和？

在JavaScript中按哈希分组和求和数组

Scala中数组的按元素求和

如何访问和求和数组数组中的值

如何在JavaScript中求和数据数组

如何从“ for”循环中求和数组值

如何从循环中的某些索引求和数组中的值

如何求和数组的数组？

如何在mongodb上计算/求和数组？

如何在循环函数内的chart.js中求和数组值？

如何在Excel中的数组公式中按行求和？

如何求和数组的多个值？

如何求和数组中的字符串值

PHP中的求和数组

如何基于键求和数组值？

如何在PHP中求和数组值

如何在Scala中按索引设置多个数组值？

如何获取json的唯一值并求和数组中的另一个值？

按参数php从数组中求和数据

PHP中按键求和数组的值

PHP - 按定义的值条件求和数组

如何在Pyspark中按字段对每组相同的值求和

如何按顺序对数组中的重复值求和

如何在scala中对列表中的列求和

如何在 SQL 中按列求和？

TOP 榜单

  1. 1

    计算数据帧R中的字符串频率

  2. 2

    Android Studio Kotlin：提取为常量

  3. 3

    Excel 2016图表将增长与4个参数进行比较

  4. 4

    获取并汇总所有关联的数据

  5. 5

    如何使用Redux-Toolkit重置Redux Store

  6. 6

    http：// localhost：3000 /＃！/为什么我在localhost链接中得到“＃！/”。

  7. 7

    将加号/减号添加到jQuery菜单

  8. 8

    算术中的c ++常量类型转换

  9. 9

    TYPO3：将 Formhandler 添加到新闻扩展

  10. 10

    TreeMap中的自定义排序

  11. 11

    如何开始为Ubuntu开发

  12. 12

    在 Python 2.7 中。如何从文件中读取特定文本并分配给变量

  13. 13

    无法使用 envoy 访问 .ssh/config

  14. 14

    在Ubuntu和Windows中，触摸板有时会滞后。硬件问题？

  15. 15

    遍历元素数组以每X秒在浏览器上显示

  16. 16

    在Jenkins服务器中使用Selenium和Ruby进行的黄瓜测试失败，但在本地计算机中通过

  17. 17

    警告消息：在matrix（unlist（drop.item），ncol = 10，byrow = TRUE）中：数据长度[16]不是列数的倍数[10]>？

  18. 18

    未捕获的SyntaxError：带有Ajax帖子的意外令牌u

  19. 19

    如何使用tweepy流式传输来自指定用户的推文（仅在该用户发布推文时流式传输）

  20. 20

    尝试在Dell XPS13 9360上安装Windows 7时出错

  21. 21

    如果从DB接收到的值为空，则JMeter JDBC调用将返回该值作为参数名称

热门标签

归档