如何在数据块中导入文本文件

苏尼尔·库马尔

我正在尝试用一些文本编写文本文件并在数据块中加载相同的文本文件,但出现错误

代码

#write a file to DBFS using Python I/O APIs
with open("/dbfs/FileStore/tables/test_dbfs.txt", 'w') as f:
  f.write("Apache Spark is awesome!\n")
  f.write("End of example!")

# read the file
with open("/dbfs/tmp/test_dbfs.txt", "r") as f_read:
  for line in f_read:
    print(line)

错误 FileNotFoundError: [Errno 2] 没有那个文件或目录: '/dbfs/FileStore/tables/test_dbfs.txt'

亚历克斯·奥特

/dbfs挂载不适用于 DBR >= 7.x 的社区版 - 这是一个已知限制。

要解决此限制,您需要使用驱动程序节点上的文件并使用dbutils.fs.cp命令 ( docs )上传或下载文件所以你的写作将如下所示:

#write a file to local filesystem using Python I/O APIs
with open("'file:/tmp/local-path'", 'w') as f:
  f.write("Apache Spark is awesome!\n")
  f.write("End of example!")
# upload file to DBFS
dbutils.fs.cp('file:/tmp/local-path', 'dbfs:/FileStore/tables/test_dbfs.txt')

从 DBFS 读取将如下所示:

# copy file from DBFS to local file_system
dbutils.fs.cp('dbfs:/tmp/test_dbfs.txt', 'file:/tmp/local-path')
# read the file locally
with open("/tmp/local-path", "r") as f_read:
  for line in f_read:
    print(line)

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如何将文本文件导入打字稿?

在Python中从大型文本文件读取数据块

如何在Google App Engine上导入文本文件?

如何在rmarkdown块中导入和运行python文件?

如何将稀疏数据从文本文件导入/解析到MATLAB数组中?

在熊猫中导入文本文件时跳过给定列的单词中的空格

从文本文件导入数据时,如何增加Python词典中的值?

在R中导入多个文本文件并查找常用模式

如何从混合字符串数字文本文件中导入数字列

将数据从文本文件导入sql表

如何从文本文件导入数据而没有任何定界符或分隔符?

在Android应用程序中导入文本文件?

如何在php中将数据写入文本文件

在文本文件中选择特定数据以在C ++中导入2D数组

如何将文本文件导入MSSQL

如何从文本文件导入数据到MYSQL数据库表?

如何在布尔方法Java中导入文本文件

如何将文本文件内容导入JavaScript?

C ++将数据从文本文件导入int Vector

在Elasticsearch中导入文本文件

在 DXL 脚本中导入文本文件?

如何在 PHP 中导入 .ics 文件并将数据存储在数据库中?

在 Access 中导入文本文件?

如何在 Python3 中从没有格式字符(反斜杠/撇号)的文本文件中导入行

Azure 数据工厂:如何在复制或导入期间重命名 blob 存储中的 blob csv 或文本文件?

将数据从文本文件导入 Excel

自动从文本文件导入数据

在VB.NET中从文本文件导入数据

如何在 R 中导入凌乱的文本文件