在Transformer的注意力机制中，为什么要将点积结果除以根号d（d为键向量的维度）？

Question

Accepted Answer

考察点：考察对注意力机制缩放因子设计的理解及数学直觉。回答思路：指出直接使用点积在高维度下可能导致数值过大 解释除以根号d的方差归一化作用 能结合softmax饱和区域说明必要性 能说明该设计与向量维度独立的直观解释

考察说明