LLM
困难
面试题库
LLM
中等
如何实现一个简单的BPE tokenizer?请给出训练与编码两个阶段的核心逻辑。
LLM
简单
特殊token(BOS/EOS/PAD/UNK等)在训练与推理中分别起什么作用?设置不当会引发什么问题?
LLM
简单
中文分词为什么对BPE不友好?字节级BPE(byte-level BPE)如何统一多语言?
LLM
简单
词表大小(vocab size)对模型训练与推理有什么影响?太大或太小的trade-off是什么?
LLM
简单
为什么大模型会答错“strawberry里有几个r”这类问题?token边界问题如何解释?
LLM
中等
WordPiece与BPE在合并标准上有什么不同?SentencePiece又额外解决了什么问题?
LLM
困难
BPE的合并规则为什么总是选择频次最高的相邻符号对?可以用什么数据结构高效实现?
LLM
中等
BPE(字节对编码)的训练过程是怎样的?请按步骤描述从语料到词表的完整流程。
LLM
中等
长输出与长输入混合的请求为什么会互相拖慢?如何做调度隔离?
LLM
困难
chunked prefill(分块预填充)如何降低首token延迟与抢占成本?
LLM
困难