LLM
困难
面试题库
LLM
中等
量化的粒度有按层、按通道、按组三种,为什么group-wise量化通常精度更高?
LLM
困难
GPTQ与AWQ两种训练后量化方法的核心区别是什么?各自如何补偿量化误差?
LLM
中等
量化感知训练(QAT)与训练后量化(PTQ)有何区别?大模型落地时为什么通常选PTQ?
LLM
中等
RAG 中文本分块(chunk)的大小如何影响检索召回与生成质量?
LLM
中等
大模型常见的越狱(jailbreak)手法有哪些?如何防御?
LLM
中等
多模态大模型如何用连接层(connector)把视觉特征映射到语言空间?
LLM
简单
静态词嵌入与上下文嵌入有什么区别?为什么大模型使用上下文表示?
LLM
中等
MoE 训练中专家负载不均衡会导致什么问题?如何用辅助损失缓解?
LLM
中等
MoE 中的 top-k 路由如何选择专家?如何做负载均衡?
LLM
中等
连续批处理(continuous batching)如何提升大模型推理吞吐?
LLM
中等