使用Gson,您可以读取JSON数据集并将其映射到自定义类MyClass。
由于Gson不可序列化,因此每个执行程序都需要自己的Gson对象。而且,MyClass必须可序列化才能在执行程序之间传递。
请注意,file(s)作为json文件提供的并不是典型的JSON文件。每行必须包含一个单独的,自包含的有效JSON对象。因此,常规的多行JSON文件通常会失败。
val sc: org.apache.spark.SparkContext // 现有的SparkContext // 路径指向JSON数据集。 // 该路径可以是单个文本文件,也可以是存储文本文件的目录。 val path = "path/to/my_class.json" val linesRdd: RDD[String] = sc.textFile(path) // 将json映射到MyClass val myClassRdd: RDD[MyClass] = linesRdd.map{ l => val gson = new com.google.gson.Gson() gson.fromJson(l, classOf[MyClass]) }
如果创建Gson对象的成本太高,mapPartitions则可以使用方法对其进行优化。有了它,Gson每个分区而不是每行将有一个:
val myClassRdd: RDD[MyClass] = linesRdd.mapPartitions{p => val gson = new com.google.gson.Gson() p.map(l => gson.fromJson(l, classOf[MyClass])) }