LLM
困难
面试题库
LLM
困难
RoPE 旋转位置编码的数学原理是什么?它如何让注意力天然编码相对位置?
LLM
中等
可学习位置编码与正弦位置编码各有何优缺点?
LLM
中等
正弦位置编码的公式是什么?为什么说任意两个位置可以线性表示?
LLM
简单
Transformer 为什么必须引入位置编码?去掉位置编码会发生什么?
LLM
中等
保持 d_model 不变,把 head 数从 8 增加到 32 会带来什么变化?
LLM
中等
多头注意力为什么比单头更有效?不同「头」之间如何分工?
LLM
困难
多头注意力每个头的维度如何确定?为什么总参数量不随 head 数变化?
LLM
中等
自注意力的计算过程如何用矩阵一次性表示?注意力分数矩阵的形状是什么?
LLM
中等
为什么自注意力的点积要除以 sqrt(d_k)?不缩放会有什么后果?
LLM
简单
自注意力机制中 Query、Key、Value 三个向量分别从何而来,各自扮演什么角色?
LangGraph
中等