Spark中的StandardScaler无法按预期工作

您的结果不符合预期的原因是因为pyspark.ml.feature.StandardScaler使用了无偏样本标准偏差而不是总体标准偏差。

从文档：

使用校正后的样本标准偏差计算“单位std” ，该标准偏差被计算为无偏样本方差的平方根。

如果您尝试numpy使用示例标准差来尝试代码，则会看到相同的结果：

import numpy as np

x = np.array([2., 8., 5.])
print((x - x.mean())/x.std(ddof=1))
#array([-1.,  1.,  0.])

从建模的角度来看，这几乎肯定不是问题（除非您的数据是全部人口，几乎永远不会这样）。还请记住，对于大样本量，样本标准偏差接近总体标准偏差。因此，如果您的DataFrame中有很多行，则此处的差异可以忽略不计。

但是，如果您坚持要让缩放器使用总体标准差，则一种“怪异”的方法是在DataFrame中添加一行，即各列的平均值。

回想一下，标准差定义为差与均值平方和的平方根。或作为功能：

# using the same x as above
def popstd(x): 
    return np.sqrt(sum((xi - x.mean())**2/len(x) for xi in x))

print(popstd(x))
#2.4494897427831779

print(x.std())
#2.4494897427831779

使用无偏标准偏差的区别只是用除以len(x)-1而不是len(x)。因此，如果添加的样本等于平均值​​，则将增加分母而不影响整体平均值。

假设您具有以下DataFrame：

df = spark.createDataFrame(
    np.array(range(1,10,1)).reshape(3,3).tolist(),
    ["int1", "int2", "int3"]
)
df.show()
#+----+----+----+
#|int1|int2|int3|
#+----+----+----+
#|   1|   2|   3|
#|   4|   5|   6|
#|   7|   8|   9|
#+----+----+----+

将此DataFrame与每列的平均值合并：

import pyspark.sql.functions as f
# This is equivalent to UNION ALL in SQL
df2 = df.union(df.select(*[f.avg(c).alias(c) for c in df.columns]))

现在缩放您的值：

from pyspark.ml.feature import VectorAssembler, StandardScaler
va = VectorAssembler(inputCols=["int2"], outputCol="temp_feature")

tmpdf = va.transform(df2)
sScaler = StandardScaler(
    withMean=True, withStd=True, inputCol="temp_feature", outputCol="scaled"
)
sScaler.fit(tmpdf).transform(tmpdf).show()
#+----+----+----+------------+---------------------+
#|int1|int2|int3|temp_feature|scaled               |
#+----+----+----+------------+---------------------+
#|1.0 |2.0 |3.0 |[2.0]       |[-1.2247448713915892]|
#|4.0 |5.0 |6.0 |[5.0]       |[0.0]                |
#|7.0 |8.0 |9.0 |[8.0]       |[1.2247448713915892] |
#|4.0 |5.0 |6.0 |[5.0]       |[0.0]                |
#+----+----+----+------------+---------------------+