LLM
困难
面试题库
LLM
困难
投机采样(speculative decoding)为什么能加速生成又保证输出分布不变?
LLM
中等
什么是自蒸馏(self-distillation)?它如何在不引入更大模型的情况下提升小模型?
LLM
中等
知识蒸馏中为什么可以用大模型的logits(软标签)训练小模型?温度参数的作用是什么?
LLM
困难
什么是2:4结构化稀疏?它如何利用Tensor Core实现接近理论的加速?
LLM
中等
结构化剪枝与非结构化剪枝有何区别?为什么非结构化剪枝在GPU上未必能加速?
LLM
简单
什么是量化校准集(calibration set)?它的选择会如何影响量化质量?
LLM
中等
动态量化与静态量化有何区别?为什么大模型推理常用weight-only量化?
LLM
简单
量化模型的精度损失如何评估?为什么常用perplexity回退作为指标?
LLM
中等
4bit的NF4量化与普通均匀int4量化有何不同?分位量化如何构造码本?
LLM
困难
什么是激活值量化中的异常值(outlier)问题?LLM.int8()如何用混合精度分解解决它?
LLM
中等