如何在 Python 中创建示例单列 Spark DataFrame?

阿吉什Kb

我想创建一个示例单列 DataFrame,但以下代码不起作用:

df = spark.createDataFrame(["10","11","13"], ("age"))

## ValueError
## ...
## ValueError: Could not parse datatype: age

预期结果:

age
10
11
13
阿尔珀 t。特克

以下代码不起作用

对于单个元素,您需要一个模式作为类型

spark.createDataFrame(["10","11","13"], "string").toDF("age")

DataType

from pyspark.sql.types import StringType

spark.createDataFrame(["10","11","13"], StringType()).toDF("age")

名称元素应该是元组和模式作为序列:

spark.createDataFrame([("10", ), ("11", ), ("13",  )], ["age"])

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如何在Python中创建示例Spark dataFrame?

如何在Spark Dataframe中存储Python字节串

如何在 Spark 中使用 Python 查找 DataFrame 中的分区数量以及如何在 Spark 中使用 Python 在 DataFrame 中创建分区

如何在Pandas Python中创建DataFrame

在Python中从Spark DataFrame创建labeledPoints

如何在 Python 中创建浮动 GUI 菜单列表?

如何在Scala / Spark中创建示例数据框

如何从sequenceFile创建Spark DataFrame

如何在Spark中调用python脚本?

如何在Dataframe Spark中添加按ID分组的索引

如何在Spark中强制执行DataFrame评估

如何在Spark DataFrame中添加常量列?

如何在Spark Dataframe中显示完整的列内容?

Spark Scala:如何在深度嵌套的DataFrame中替换字段

筛选条件如何在Spark DataFrame中工作?

如何在Apache Spark中反向排列DataFrame

如何在Spark DataFrame中删除重复项

如何在spark.dataframe中编码分组数据?

我應該如何在 Python 函數中將 Spark SQL DataFrame 作為參數傳遞?

如何在Python中透视Pandas Dataframe?

如何在Python中重塑此DataFrame?

如何在 Python Dataframe 中做 MiniIFS

如何在PySpark中创建空Spark DataFrame并追加数据?

如何在Scala / Spark中使用多个DataFrame中的多个工作表创建excel文件?

如何在Scala Spark中持久保存我们从dataFrame动态创建的列表

在某些情况下如何在Spark DataFrame中创建新列“ count”

如何在Spark Scala中的Spark Dataframe中的struct中的元素中添加元素

如何在python中使用map,reduce,apply或其他函数转换DataFrame(在此示例中)?

如何从Spark中的文本文件创建DataFrame