Spark SQL 如何创建 Dataset？

推荐答案

在 Spark SQL 中，可以通过以下方式创建 Dataset：

// www.javascriptcn.com code example
import org.apache.spark.sql.{SparkSession, Dataset}

// 创建 SparkSession
val spark = SparkSession.builder()
  .appName("Spark SQL Example")
  .master("local[*]")
  .getOrCreate()

// 导入隐式转换
import spark.implicits._

// 创建一个样例类
case class Person(name: String, age: Int)

// 创建一个包含样例类对象的序列
val data = Seq(Person("Alice", 25), Person("Bob", 30))

// 将序列转换为 Dataset
val ds: Dataset[Person] = data.toDS()

// 显示 Dataset 内容
ds.show()

本题详细解读

1. 创建 SparkSession

在 Spark SQL 中，SparkSession 是入口点，用于与 Spark 进行交互。通过 SparkSession.builder() 方法可以创建一个 SparkSession 实例。

val spark = SparkSession.builder()
  .appName("Spark SQL Example")
  .master("local[*]")
  .getOrCreate()

2. 导入隐式转换

为了使用 toDS() 方法将序列转换为 Dataset，需要导入 spark.implicits._ 隐式转换。

import spark.implicits._

3. 定义样例类

Dataset 是强类型的数据集合，通常使用样例类来定义数据的结构。样例类 Person 有两个字段：name 和 age。

case class Person(name: String, age: Int)

4. 创建序列并转换为 Dataset

通过 Seq 创建一个包含样例类对象的序列，然后使用 toDS() 方法将其转换为 Dataset。

val data = Seq(Person("Alice", 25), Person("Bob", 30))
val ds: Dataset[Person] = data.toDS()

5. 显示 Dataset 内容

使用 show() 方法可以查看 Dataset 的内容。

ds.show()

输出结果如下：

+-----+---+
| name|age|
+-----+---+
|Alice| 25|
|  Bob| 30|
+-----+---+

通过以上步骤，你可以成功创建一个 Dataset 并对其进行操作。