我有一个包含json行的文本文件，其结构如下所示。
{"city": "London","street": null, "place": "Pizzaria", "foo": "Bar"}
我需要使用spark以JSON格式读取它，并使用以下scala代码将其转换为case类。我只需要json的case类中给出的已定义字段。
import org.apache.spark.sql.SparkSession
import spray.json.DefaultJsonProtocol
import spray.json._
object SimpleExample extends DefaultJsonProtocol {
case class Row(city: String,
street: Option[String],
place: String)
implicit val rowFormat = jsonFormat3(Row)
def main(args: Array[String]): Unit = {
val logFile = "example.txt"
val spark = SparkSession.builder.appName("Simple Application").getOrCreate()
val logData = spark.read.textFile(logFile).cache()
import spark.implicits._
val parsed = logData.map(line => line.parseJson.convertTo[Row])
println(s"Total Count : ${parsed.count()}")
spark.stop()
}
}
但是，当我运行我的spark应用程序时，出现以下错误：
Exception in thread "main" java.lang.NoClassDefFoundError: spray/json/JsonFormat
at java.lang.Class.getDeclaredMethods0(Native Method)
at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
at java.lang.Class.getMethod0(Class.java:3018)
at java.lang.Class.getMethod(Class.java:1784)
at org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:42)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:879)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:197)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:227)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:136)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.lang.ClassNotFoundException: spray.json.JsonFormat
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
我猜错误是关于进口的，但无法解决。
您可以将数据直接读取为json（不使用spray-json），然后将其转换为数据集。
import spark.implicits._
val logData = spark.read.json(logFile)
logData.select("city", "street", "place").as[Row]
只要case类中的变量名与文件中的变量名匹配，它就可以正常工作。
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句