LLM
中等
面试题库
LLM
简单
指令微调(instruction tuning / SFT)解决了什么问题?它与预训练有何不同?
LLM
简单
全参微调(full fine-tuning)的流程是什么?它有哪些代价?
LLM
困难
混合精度训练、梯度裁剪与梯度累积各自解决什么问题?如何配合使用?
LLM
中等
从零预训练一个 LLM 通常需要准备哪些资源与步骤?
LLM
困难
预训练中学习率调度(warmup + 余弦退火)为什么重要?
LLM
中等
中文 tokenizer 相比英文有哪些特殊问题?如何缓解中文分词粒度不当的影响?
LLM
中等
BPE 分词器是如何训练的?词表大小对模型有什么影响?
LLM
困难
预训练过程中出现 loss spike(损失尖峰)可能是什么原因?如何应对?
LLM
简单
预训练、继续预训练(CPT)与微调(SFT)三者有什么区别?分别解决什么问题?
LLM
困难
缩放定律(scaling law)揭示了怎样的幂律关系?对算力分配有何指导?
LLM
中等