面试题库

全部 Django Elasticsearch FastAPI Flask Function Call JVM Java IO Java 后端 Java 基础 Java 并发 Java 新特性 Java 集合 JavaWeb Kafka LLM LangChain LangGraph MongoDB MyBatis MySQL Netty Nginx Python RAG RabbitMQ Redis RocketMQ Spring Spring AI SpringBoot SpringCloud SpringMVC ZooKeeper 分布式 后端技术 大厂面经 大数据 微服务 提示词工程 操作系统 数据库 数据结构 智能体 海康威视2026秋季社招专项 消息队列 监控运维 算法 系统设计 缓存 计算机基础 计算机网络 设计模式 面试题 高可用 高并发
LLM 中等

为什么预训练用交叉熵/负对数似然作为损失，而不是用准确率或其它损失？

作答 →
LLM 中等

掩码语言模型（MLM）与因果语言模型（CLM）的预训练目标有什么区别？分别适合什么场景？

作答 →
LLM 简单

自回归语言模型的训练目标是什么？交叉熵损失如何写成对数似然形式？

作答 →
LLM 困难

从梯度流角度解释：为什么 Pre-LN 下的残差网络能堆得更深而不退化？

作答 →
LLM 中等

QKV 投影中的 bias 项是否可以省略？对模型训练与效果有什么影响？

作答 →
LLM 中等

为什么大模型用 subword 分词而不是整词或字符分词？对注意力与词表有何影响？

作答 →
LLM 困难

注意力 dropout 与残差 dropout 分别作用在哪些位置？对训练有何影响？

作答 →
LLM 中等

词嵌入层与输出层共享权重（weight tying）有什么作用与代价？

作答 →
LLM 中等

自注意力时间与空间复杂度 O(n²d + nd²) 是如何推导出来的？

作答 →
LLM 简单

为什么自注意力能并行处理整个序列，而 RNN 不能？

作答 →
LLM 困难

自注意力在训练与推理阶段的前向计算有什么本质差异？

作答 →
LLM 困难

如何估算 Transformer 单层的参数量？以 d_model=4096、FFN 中间维 4 倍为例给出结果。

作答 →