三角函数位置编码有哪些好处？旋转位置编码相比它有什么优势？

Question

Accepted Answer

考察点：考察位置编码的设计动机与在长序列、相对位置建模上的差异。回答思路：说明三角函数位置编码能捕捉相对位置与绝对位置信息 能外推到未见过的序列长度 旋转位置编码通过旋转操作保持相对位置信息且不增加参数 对比两者在训练稳定性和效率上的差异

考察说明