在 Spark SQL 中，DataSet 与 DataFrame 的主要区别是什么？在实际项目中，你会根据哪些因素来确定使用哪一种？请阐述两者的适用场景及选择依据。
考察说明
考查对 Spark SQL 核心数据抽象的理解，以及在实际场景中做出技术选型的能力。
回答思路
- 【回答框架 1】从概念定义上看，DataFrame 是带 Schema（列名和类型）的分布式数据集合，本质上是 Dataset[Row] 的类型别名；DataSet 是强类型的分布式数据集合，它利用编码器（Encoder）在编译期检查类型，并高效地进行序列化和反序列化。
- 【回答框架 2】从类型安全与 API 使用上看，DataFrame 使用无类型的 API，列操作通过字符串或 Column 对象引用，编译期无法发现列名错误，运行期才会报错；DataSet 使用类型安全的 API，如 map、filter 等函数操作，编译期即可发现类型不匹配，并直接操作 JVM 对象。
- 【回答框架 3】从性能与优化角度看，DataFrame/Dataset 都会经过 Catalyst 优化器和 Tungsten 执行引擎进行优化，二者性能基础相同；但在某些情况下，强类型操作可能引入额外的序列化开销，而无类型的 DataFrame 可能更利于某些优化，实际性能需通过基准测试确认。
- 【回答框架 4】从选择原则看，如果业务逻辑复杂且需要强大的类型安全和代码可维护性，优先选择 DataSet；如果主要是做数据分析和 SQL 风格的聚合、筛选，或需要与 SQL 无缝交互，优先选择 DataFrame；从 Spark 2.0 起，DataFrame 和 DataSet 统一，可通过 as 方法互相转换。
- 【关键点 1】DataFrame 是 Dataset[Row] 的类型别名，无类型安全，编译期不检查列名。
- 【关键点 2】DataSet 强类型安全，编译期检查类型，适合复杂 ETL 和业务逻辑。
- 【关键点 3】二者都基于 Catalyst 优化器和 Tungsten 执行引擎，性能优化基础一致。
- 【关键点 4】选择依据：数据分析或 SQL 场景优先 DataFrame，复杂、类型安全要求高的场景优先 DataSet。
- 【易错点 1】不能简单断言 DataFrame 一定比 Dataset 性能好，实际性能需压测。
- 【易错点 2】注意 Dataset 对自定义类型的 Encoder 需求，常见的 case class 和元组有内置 Encoder，但复杂类型可能需要自定义。
- 【易错点 3】避免在 DataFrame 与 Dataset 之间频繁转换，会增加序列化开销并影响优化。