是否可以编写一个Spark脚本，该脚本具有可通过名称而不是args（）数组中的索引引用的参数？我有一个包含4个必需参数的脚本，根据这些参数的值，可能需要多达3个附加参数。例如，在一种情况下，args（5）可能是我需要输入的日期。我另外一个，由于我需要另一个参数，该日期可能以args（6）结尾。
缩放已实现，但我不知道Spark在哪里。
Spark不提供此类功能。
您可以使用Argsscalding（如果您不介意小类之类的依赖项）：
val args = Args(argsArr.toIterable)
您还可以使用任何提供所需解析功能的CLI库。
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句