LLM
简单
面试题库
LLM
困难
RoPE位置编码的数学表达式是什么?它如何用旋转矩阵同时编码绝对与相对位置?
LLM
中等
为什么KV Cache在prefill与decode阶段的瓶颈不同?这对调度有什么影响?
LLM
中等
前缀缓存(prefix caching)如何复用共享前缀的KV Cache?在什么场景收益最大?
LLM
困难
什么是KV Cache的token淘汰(eviction)策略?H2O与StreamingLLM各自如何决定保留哪些token?
LLM
困难
KV Cache量化(如int8/FP8)有什么特殊挑战?为什么K/V对量化比权重更敏感?
LLM
中等
MHA、MQA与GQA的区别是什么?GQA如何在不明显损失质量的前提下压缩KV Cache?
LLM
中等
KV Cache的显存占用如何精确计算?以7B模型、较长上下文为例估算其规模。
LLM
中等
FlashAttention有哪些使用限制?为什么并非所有注意力场景都能用它?
LLM
困难
FlashAttention的online softmax如何只遍历一次就得到正确结果?
LLM
困难
FlashAttention是如何通过分块(tiling)与SRAM复用避免物化完整注意力矩阵的?
LLM
困难