LLM systems interview handbook

大模型算法岗常见面试题深度解析

20 个核心问题，覆盖架构、训练、微调、推理、多模态、RAG、Agent 与评估。每题直接给出可口述答案、机制推导、工程判断、追问路径和修订说明。

先建立回答结构

算法岗问题很少只考术语定义。更可靠的回答顺序是：机制是什么、公式或数据流从哪里来、工程上卡在哪里、哪些说法要加条件。

先给结论每题开头给出可直接口述的核心回答。

再讲机制用公式、数据流和反例解释为什么这样回答。

接到工程说明训练、推理、部署或评估系统中会遇到的真实约束。

保留边界把过时、绝对化或容易混淆的说法单独修订。

按章节线性阅读即可。每题都包含速答、公式与机制、答案解析、工程视角、常见追问、易错点与修订。

复习不必线性刷完。先把高频机制讲顺，再按训练、推理和系统设计补齐细节。

先看 Q1、Q3、Q10、Q11、Q13、Q18。目标是把 Attention、RoPE、KV Cache、LoRA、偏好优化和 RAG 的一句话回答讲清楚。

按 7 个章节顺序读每题“展开”和“工程”。遇到公式题时手写变量含义，遇到系统题时画离线与在线数据流。

只看“追问”和“修订”。重点检查绝对化表述、版本混淆、显存公式、loss mask、量化 zero-point 和评估污染风险。

Attention / RoPE / MoE / LoRA / RLHF / KV Cache / RAG 是最容易被追问到第二层的数据流问题，应能同时说出公式、直觉和工程代价。