面试题库

全部 Django Elasticsearch FastAPI Flask Function Call JVM Java IO Java 后端 Java 基础 Java 并发 Java 新特性 Java 集合 JavaWeb Kafka LLM LangChain LangGraph MongoDB MyBatis MySQL Netty Nginx Python RAG RabbitMQ Redis RocketMQ Spring Spring AI SpringBoot SpringCloud SpringMVC ZooKeeper 分布式 后端技术 大厂面经 大数据 微服务 提示词工程 操作系统 数据库 数据结构 智能体 海康威视2026秋季社招专项 消息队列 监控运维 算法 系统设计 缓存 计算机基础 计算机网络 设计模式 面试题 高可用 高并发
LLM 困难

chunked prefill(分块预填充)如何降低首token延迟与抢占成本？

作答 →
LLM 困难

引导解码(Guided Decoding)底层是如何用有限状态机或文法约束token采样的？

作答 →
LLM 中等

推理服务的吞吐(throughput)与延迟(latency)如何权衡？如何根据业务场景设定并发与批处理策略？

作答 →
LLM 中等

张量并行(TP)与流水线并行(PP)在推理中分别是如何切分模型的？各有什么适用场景？

作答 →
LLM 中等

TGI(Text Generation Inference)与vLLM在架构和特性上有哪些异同？

作答 →
LLM 困难

vLLM调度器如何做抢占(preemption)与swap？有哪些常见策略？

作答 →
LLM 中等

prefill/decode分离(PD disaggregation)如何解决两类阶段的资源需求冲突？

作答 →
LLM 中等

连续批处理(continuous batching)相比静态批处理在调度上有何本质区别？为什么吞吐更高？

作答 →
LLM 困难

PagedAttention是如何借鉴操作系统虚拟内存的分页思想来管理KV Cache的？

作答 →
LLM 简单

如何评测长上下文模型能力？Needle in a Haystack(大海捞针)任务测的是什么？

作答 →
LLM 简单

什么是“迷失在中间”(lost in the middle)现象？如何缓解长上下文中关键信息位置导致的性能下降？

作答 →
LLM 中等

ALiBi位置编码如何通过线性偏置实现外推？它与RoPE相比有何优劣？

作答 →