我可以使用 sqlContext.read.parquet where 访问存储在变量中的文件路径var1 = "s3n://path1/path2/*/*snappy.parquet"
,下面的代码有效
def funname(date):
pDF=sqlContext.read.parquet(var1)
但是,当我将此 var1 = "s3n://path1/path2/*/*snappy.parquet" 放在文件 'file1.dat' 中时,使用 pDF=sqlContext.read.parquet(变量 1)
错误 :
错误:未定义全局名称“var1”nNone
不幸的是,您不可能在文本文件中“存储”一个变量并让 python 知道它的存在。但是您可以存储路径,然后将其加载到您的程序中。
在您的文件中,存储您的镶木地板的路径,别无其他。
file1.dat
s3n://path1/path2/*/*snappy.parquet
现在,使用 python 的文件 IO 读取文件并将其存储在var1
.
your_file.py
with open('file1.dat') as f:
var1 = f.read().strip()
pDF = sqlContext.read.parquet(var1)
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句