我有这样的数据框：
+------+-----+-------------------+--------------------+
| Id|Label| Timestamp| Signal_list|
+------+-----+-------------------+--------------------+
|A05439| 1|2014-05-20 05:05:21|[-116, -123, -129...|
|A06392| 1|2013-12-27 04:12:33|[260, 314, 370, 4...|
|A08192| 1|2014-06-03 04:06:15|[334, 465, 628, 8...|
|A08219| 3|2013-12-31 03:12:41|[-114, -140, -157...|
|A02894| 2|2013-10-28 06:10:53|[109, 139, 170, 1...|
该数据帧信号列表有9k个元素，我想将信号列表列转换为向量。我尝试了以下UDF：
import org.apache.spark.ml.linalg._
val convertUDF = udf((array : Seq[Long]) => {
Vectors.dense(array.toArray)
})
val afWithVector = afLabel.select("*").withColumn("Signal_list", convertUDF($"Signal_list"))
但是它给出了错误：
console>:39: error: overloaded method value dense with alternatives:
(values: Array[Double])org.apache.spark.ml.linalg.Vector <and>
(firstValue: Double,otherValues: Double*)org.apache.spark.ml.linalg.Vector
cannot be applied to (Array[Long])
Vectors.dense(array.toArray)
数据框方案：
|-- Id: string (nullable = true)
|-- Label: integer (nullable = true)
|-- Timestamp: string (nullable = true)
|-- Signal_list: array (nullable = true)
| |-- element: long (containsNull = true)
我是使用Scala的新手，使用pyspark的答案会更有用。
这UDF几乎是正确的。问题在于，Spark中的向量只能使用双精度，不能接受多头。在Scala中，更改如下所示：
val convertUDF = udf((array : Seq[Long]) => {
Vectors.dense(array.toArray.map(_.toDouble))
})
我相信在Python中，它看起来像这样：
udf(lambda vs: Vectors.dense([float(i) for i in vs]), VectorUDT())
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句