在大规模数据集上执行 Hive JOIN 时，通常采用哪些策略来提升性能？请列出并解释至少三类主要的优化手段，并说明其适用场景。

回答思路

1. 【回答框架 1】针对大规模 JOIN，性能瓶颈主要来自数据倾斜、Shuffle 开销和内存不足。优化策略可分为模型设计、执行参数和语法改写三类。
2. 【回答框架 2】模型设计层面，可提前进行数据预处理，如过滤、聚合或分桶。分桶（Bucketing）将数据按 JOIN 键的哈希值分散到固定数量的桶中，使 JOIN 时能进行桶级合并，减少 Shuffle 数据量；SMB Join（Sort Merge Bucket Join）通过排序和合并桶，进一步降低 Shuffle 开销。
3. 【回答框架 3】执行参数层面，可调整 Hive 的并行度和内存配置。例如，增大 mapreduce.reduce.input.buffer.percent 等参数可减少溢写；开启 hive.auto.convert.join 将 Common Join 转换为 Map Join，当小表能加载进内存时，小表分发到各 Map 任务，避免 Reduce 阶段的 Shuffle。
4. 【回答框架 4】语法改写层面，可使用 Map Join 提示（/*+ MAPJOIN(b) */）强制优化，或使用 Skew Join 处理数据倾斜。当检测到键值分布不均时，可将倾斜键拆分为随机前缀，分散到多个 Reduce 任务。此外，也可将大表 JOIN 拆分为多个小任务，如按日期分区处理。
5. 【回答框架 5】需注意，实际优化效果依赖数据特性和集群资源。应通过 EXPLAIN 查看执行计划，分析 Job 的 IO 和 CPU 消耗，再针对性调整。测试可先用抽样数据验证方案，避免盲目改动全局参数。
6. 【关键点 1】Map Join 适合大小表 JOIN，可消除 Reduce 阶段 Shuffle，但需小表能装入内存。
7. 【关键点 2】分桶+Sort Merge Bucket Join 可减少 Shuffle 数据量，适合中大规模表 JOIN。
8. 【关键点 3】Skew Join 通过拆分倾斜键解决数据倾斜问题，需要动态感知并改写查询。
9. 【易错点 1】单纯依赖参数调优可能掩盖数据倾斜问题，应先定位真正的瓶颈。
10. 【易错点 2】不是所有 JOIN 都适合 Map Join，若小表超过内存限制，反而会导致 OOM 或性能下降。
11. 【易错点 3】使用分桶时若桶数与数据分布不匹配，可能无法发挥预处理优势，甚至增加冗余 IO。