在本地Spark上配置-如何设置?

左__

我在Windowsx64上本地安装了Spark,以便在推出之前测试我的Spark代码。我想使用窗口函数,但这要求我使用HiveContext。我已经在Maven中设置了依赖关系,但是当我在Spark上运行它时,我The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: ---------没有设置Hive。如何在本地将Spark与HiveContext结合使用?我找不到有关如何执行此操作的易于理解的指南,请帮忙!

[编辑]代码:

WindowSpec window = Window.partitionBy(df.col("id")).orderBy(df.col("date").desc()).rowsBetween(0, 10);
Column col = avg(df.col("price")).over(window).as("price");
df = df.withColumn("price", price);

谢谢!

左__

我最终使用了Hortonworks VM,因为显然Windows无法很好地支持Hive。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章