PySpark 设置本地目录以避免 java.io.IOException: 设备上没有剩余空间

Spark是抛出错误java.io.IOException: No space left on device，我已追踪到的目录的溢出/tmp哪里Spark是创建临时文件。我想为这些文件手动指定其他可用空间的位置。目前使用PySpark 3.1.2的Ubuntu 20.04。已经尝试了以下方法但没有成功（Spark仍然写入/tmp）：

from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
spark.conf.set('spark.local.dirs', '/home/tmp')

也尝试过

spark.conf.set('spark.local.dir', '/home/tmp')

在这两种情况下Spark，忽略配置更改以写入另一个目录 ( /home/tmp)，而是写入默认目录，就好像没有配置更改 ( /tmp) 在没有足够空间的情况下一样。