从PySpark中的两个不同数据帧中减去列的值以找到RMSE

杰里·乔治

我无法弄清楚。我正在尝试计算测试数据和预测数据之间的RMSE。

测试

col1    col2
 a        2 
 b        3

预测

col1   col2
 a       4 
 b       5

我正在尝试执行此测试(col2)-预测(col2)。那是

2-4 =-2
3-5 =-2

我试过了

test.select("col2").subtract(prediction.select("col2"))

但是我没有得到所需的结果。我正在尝试获取此结果以找到RMSE。spark中是否有内置功能来找到RMSE?

谢谢。

史蒂文

这是一个连接和一个算术减:

test.join(prediction, on="col1").withColumn("sub", test.col2-prediction.col2)

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

Pyspark - 从两个不同的数据帧中减去列

如何比较pyspark中两个不同数据帧中的两列

熊猫在两个具有相同列的数据帧中减去值创建新的数据帧来存储结果

组合来自两个不同数据帧的两列以删除 Pandas 中的缺失值

匹配R中不同数据帧中两个列对的值

Python Pandas:如何相互减去数据帧的特定列中的两个非连续行中的值

Pyspark-使用数据框中其他两个列的RMSE创建新列

dplyr-根据条件从两个不同的数据帧中减去

根据一个公共列从两个数据帧中减去列

给定特定数据帧时,如何在矩阵中减去两个值?

从MySQL中的两个不同表中减去值

基于两个不同列中的两个条件的子集数据帧R

比较并找到只有一个公共列但行数不同的两个数据帧中的额外行

在 PySpark Python 中减去两个日期列

从不同的表中减去两个值

从选择查询中的两个不同表中减去两个不同的列总和

比较来自两个不同 pyspark 数据帧的两对列以显示不同的数据

在Python中的for循环中,从两个日期相同的数据框的列中减去值的问题

从PySpark中的两个数据帧计算值

R-比较两列中不同长度的两个数据帧的相同值

如何使用mapply将函数应用于两个不同数据帧中的两个不同列

Pandas 数据帧根据条件从同一数据帧中的两列中减去值?

如何从Laravel中的两个不同联接中减去两个列的总和?

如何从R中的两个不同数据帧中添加两列,其中一列只是另一列的唯一值的子集

找出熊猫中两个不同数据帧的交集

从 R 中的两个不同数据帧创建数组

如何在python中的数据集的两个不同列中找到相同值的匹配项

如何从两个不同的列中减去两个不同的值,并在小于一个值时进行打印?

如果某些条件匹配,则将从不同数据帧中的两个值求和