Spark 2.4.4:

Je souhaite importer un fichier CSV, mais il existe deux options. Pourquoi donc? Et lequel est le meilleur? Lequel dois-je utiliser?

from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .master("local[2]") \
    .config('spark.cores.max', '3') \
    .config('spark.executor.memory', '2g') \
    .config('spark.executor.cores', '2') \
    .config('spark.driver.memory','1g') \
    .getOrCreate()

Option 1

df = spark.read \
    .format("com.databricks.spark.csv") \
    .option("header", "true") \
    .option("inferSchema", "true") \
    .load("data/myfile.csv")

Option 2

df = spark.read.load("data/myfile.csv", format="csv", inferSchema="true", header="true")