将Spark DataFrame转换为Pandas DF

data_person:

有没有办法将Spark Df(不是RDD)转换为熊猫DF

我尝试了以下方法:

var some_df = Seq(
 ("A", "no"),
 ("B", "yes"),
 ("B", "yes"),
 ("B", "no")

 ).toDF(
"user_id", "phone_number")

码:

%pyspark
pandas_df = some_df.toPandas()

错误:

 NameError: name 'some_df' is not defined

有什么建议。

高朗沙(Gaurang Shah):

以下应该工作

some_df = sc.parallelize([
 ("A", "no"),
 ("B", "yes"),
 ("B", "yes"),
 ("B", "no")]
 ).toDF(["user_id", "phone_number"])
pandas_df = some_df.toPandas()

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章