我正在尝试为数据框使用一些Windows函数(ntile
和percentRank
),但是我不知道如何使用它们。
有人可以帮我吗?在Python API文档中,没有关于它的示例。
具体来说,我正在尝试获取数据框中数字字段的分位数。
我正在使用Spark 1.4.0。
为了能够使用窗口功能,您必须先创建一个窗口。定义与普通SQL几乎相同,这意味着您可以定义顺序,分区或同时定义两者。首先让我们创建一些虚拟数据:
import numpy as np
np.random.seed(1)
keys = ["foo"] * 10 + ["bar"] * 10
values = np.hstack([np.random.normal(0, 1, 10), np.random.normal(10, 1, 100)])
df = sqlContext.createDataFrame([
{"k": k, "v": round(float(v), 3)} for k, v in zip(keys, values)])
确保您正在使用HiveContext
(仅限Spark <2.0):
from pyspark.sql import HiveContext
assert isinstance(sqlContext, HiveContext)
创建一个窗口:
from pyspark.sql.window import Window
w = Window.partitionBy(df.k).orderBy(df.v)
相当于
(PARTITION BY k ORDER BY v)
在SQL中。
根据经验,窗口定义应始终包含PARTITION BY
子句,否则Spark会将所有数据移至单个分区。ORDER BY
某些功能是必需的,而在不同情况下(通常是聚合)可能是可选的。
还有两个可选选项,可用于定义窗口span- ROWS BETWEEN
和RANGE BETWEEN
。在这种特定情况下,这些对我们没有用。
最后,我们可以将其用于查询:
from pyspark.sql.functions import percentRank, ntile
df.select(
"k", "v",
percentRank().over(w).alias("percent_rank"),
ntile(3).over(w).alias("ntile3")
)
注意,这ntile
与分位数没有任何关系。
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句