面试题库

全部 Django Elasticsearch FastAPI Flask Function Call JVM Java IO Java 后端 Java 基础 Java 并发 Java 新特性 Java 集合 JavaWeb Kafka LLM LangChain LangGraph MongoDB MyBatis MySQL Netty Nginx Python RAG RabbitMQ Redis RocketMQ Spring Spring AI SpringBoot SpringCloud SpringMVC ZooKeeper 分布式 后端技术 大厂面经 大数据 微服务 提示词工程 操作系统 数据库 数据结构 智能体 海康威视2026秋季社招专项 消息队列 监控运维 算法 系统设计 缓存 计算机基础 计算机网络 设计模式 面试题 高可用 高并发
LLM 困难

自注意力在训练与推理阶段的前向计算有什么本质差异？

作答 →
LLM 困难

如何估算 Transformer 单层的参数量？以 d_model=4096、FFN 中间维 4 倍为例给出结果。

作答 →
LLM 简单

为什么计算 softmax 前要先减去每行的最大值？这会影响结果吗？

作答 →
LLM 中等

交叉注意力（cross-attention）中 Q、K、V 分别来自哪里？与自注意力有何不同？

作答 →
LLM 简单

因果掩码（causal mask）是如何实现的？为什么解码器不能看到未来的 token？

作答 →
LLM 中等

Encoder 与 Decoder 在结构上有哪些差异？分别适合什么任务？

作答 →
LLM 简单

残差连接（Residual Connection）在 Transformer 中起什么作用？

作答 →
LLM 中等

Pre-LN 与 Post-LN 的差异是什么？为何 Pre-LN 训练更稳定？

作答 →
LLM 简单

LayerNorm 与 BatchNorm 有什么区别？为什么 Transformer 采用 LayerNorm？

作答 →
LLM 中等

SwiGLU 与 ReLU、GELU 相比有什么特点？为何现代大模型普遍采用它？

作答 →
LLM 中等

为什么 FFN 的中间隐藏维度通常取 d_model 的 4 倍？

作答 →
LLM 简单

Transformer 中前馈网络（FFN）的作用是什么？为什么它必须引入非线性？

作答 →