面对海量数据，通常采用何种基于 MapReduce 的编程模型来执行数据分析作业？请阐述其核心思想与执行流程。
考察说明
考查对 MapReduce 编程模型的理解，包括其设计思想、执行步骤及在大规模数据处理中的适用场景。
回答思路
- 【回答框架 1】MapReduce 是一种分布式计算模型，将大规模数据集的处理过程抽象为 Map 和 Reduce 两个阶段。Map 阶段对输入数据分片并行处理，输出中间键值对；Reduce 阶段对具有相同键的中间结果进行汇总计算。
- 【回答框架 2】执行流程包括输入分片、Map 任务、Shuffle 排序与分组、Reduce 任务和输出。数据以键值对形式流动，框架负责并行调度、容错和数据传输，用户只需实现 map 和 reduce 函数。
- 【回答框架 3】该模型适用于批处理场景，如日志分析、倒排索引、数据统计等，具有高扩展性和容错性。但存在实时性差、不适合复杂迭代计算等限制。
- 【关键点 1】核心思想是分而治之，将计算推向数据。
- 【关键点 2】Map 输出中间结果，Reduce 聚合相同键的值。
- 【关键点 3】Shuffle 过程保证相同键的数据分发到同一 Reduce 任务。
- 【关键点 4】模型对用户隐藏并行、容错和调度细节。
- 【易错点 1】误认为 MapReduce 适合所有大数据处理，其实实时查询和迭代计算效率低。
- 【易错点 2】忽略 Shuffle 带来的网络和磁盘开销，可能导致性能瓶颈。
- 【易错点 3】自定义键时需正确实现比较器和分区器，否则结果可能错误。