Apache Hudi 中采用了哪些并行写入机制来提升数据写入的吞吐量和效率？请解释其工作原理。

回答思路

1. 【回答框架 1】Hudi 通过多级并行提升写入性能。写入任务在 Spark 或 Flink 引擎中按分区和文件组并行执行，每个文件组内的数据写入由多个 writer 并发处理。
2. 【回答框架 2】Hudi 的索引机制支持并行定位记录所属的文件组，如基于布隆过滤器的索引和 HBase 索引，减少写入时的数据 shuffle，使写入可以按文件组直接追加。
3. 【回答框架 3】Hudi 使用异步压缩机制，将小文件合并为更大的文件，减少后续写入时的文件数量，提升写入效率。
4. 【回答框架 4】写入时采用乐观并发控制，通过时间线和文件版本号管理并发写入冲突，确保并行写入的最终一致性。
5. 【关键点 1】并行写入基于 Spark/Flink 的分区并行度，每个分区内文件组并行处理。
6. 【关键点 2】索引机制（如布隆过滤器）加速记录到文件组的映射，减少 shuffle 开销。
7. 【关键点 3】异步压缩（compaction）合并小文件，降低小文件对写入性能的影响。
8. 【关键点 4】乐观并发控制保证多个 writer 并行写入时的数据一致性。
9. 【易错点 1】将并行写入等同于无冲突写入，实际需要处理并发冲突。
10. 【易错点 2】忽视文件组数量对小文件问题的影响，过多文件组可能导致写入性能下降。