希望逻辑是正确的。您对lag
窗口功能的思考是正确的。但我认为最好在您计算完 end_date 之后使用它。
from pyspark.sql import functions as F, Window as W
df = spark.createDataFrame(
[(10499.84, 0.00, '2022-02-01'),
( 0.00, 0.00, '2022-02-02'),
( 0.00, 0.00, '2022-02-03'),
( 0.00, 0.00, '2022-02-04'),
( 0.00, 245.70, '2022-02-05'),
( 0.00, 70.88, '2022-02-06'),
( 0.00, 0.00, '2022-02-07'),
( 0.00, 0.00, '2022-02-08'),
( 0.00, 119.84, '2022-02-09')],
['saldo', 'trans', 'day']
)
w = W.orderBy('day')
df = df.withColumn('end_day', F.sum(F.col('saldo') - F.col('trans')).over(w))
df = df.withColumn('begin_day', F.coalesce(F.lag('end_day').over(w), F.sum('saldo').over(w)))
df = df.select('saldo', 'trans', 'begin_day', 'end_day', 'day')
df.show()
# +--------+------+---------+--------+----------+
# | saldo| trans|begin_day| end_day| day|
# +--------+------+---------+--------+----------+
# |10499.84| 0.0| 10499.84|10499.84|2022-02-01|
# | 0.0| 0.0| 10499.84|10499.84|2022-02-02|
# | 0.0| 0.0| 10499.84|10499.84|2022-02-03|
# | 0.0| 0.0| 10499.84|10499.84|2022-02-04|
# | 0.0| 245.7| 10499.84|10254.14|2022-02-05|
# | 0.0| 70.88| 10254.14|10183.26|2022-02-06|
# | 0.0| 0.0| 10183.26|10183.26|2022-02-07|
# | 0.0| 0.0| 10183.26|10183.26|2022-02-08|
# | 0.0|119.84| 10183.26|10063.42|2022-02-09|
# +--------+------+---------+--------+----------+
如果您每个月重新启动,您应该使用此窗口:
w = W.partitionBy(F.year('day'), F.month('day')).orderBy('day')
您可能还需要round
您的 end_day。
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句