当我们导入一个jar到pyspark shell时后台会发生什么

简而言之，什么都没有，因为您只需将 jar 导入Python 解释器（好吧，除非您使用 Jython，但那是另一回事）。

在 PySpark 中，Python 解释器使用套接字与 JVM 通信。

• Python 序列化数据（它的某种形式）或命令，并通过套接字将其发送到 JVM 进程。
• JVM 进程反序列化事物，决定如何处理它，计算结果并通过套接字将其发送到 Python 解释器。

如果发生任何来自 jar 的导入，它会在 JVM 的“自然”环境中发生。

它使用的特定工具是Py4j，因此您可以通过对实现细节感兴趣的方式来检查它，但其他类似的工具也存在。