技术笔记

• 
  LLM 核心机制交互讲义 07/2026 · 12 个机制与 6 个动态实验 · 从 BPE 到 next token 的理论、交互实验与可运行代码

  沿文本到 next token 的真实数据流，串起 BPE/tokenizer、decoder-only Transformer、 causal mask、RoPE、RMSNorm、SwiGLU、teacher forcing、perplexity、prefill/decode、 KV cache、greedy/temperature/top-p、repetition 与 EOS。每个机制都配有 shape、公式、 动态实验、最小可运行例子，以及 Stanford CS336 2026 与 nanochat 源码边界对照。

  LLM Transformer KV Cache Tokenizer
• 
  大模型算法岗常见面试题深度解析 07/2026 · 20 题深度答案解析 · Transformer、训练、微调、推理、RAG、Agent 与评估的结构化问答

  把 20 个大模型算法岗高频问题重构成讲义式答案解析：每题包含一句话速答、 1-2 分钟口述版本、原理推导、工程视角、常见追问、修订说明和记忆句。 内容按 Transformer、训练优化、模型架构、微调、推理部署、多模态与生成、 RAG / Agent / 评估线性组织，重点纠正 RoPE 外推、SwiGLU 门控、梯度检查点、QLoRA、偏好优化、 量化 zero-point、VLM 版本边界和 Benchmark 动态事实中的常见误区。

  LLM 面试 Transformer RAG
• 
  AIGC 与 LLM 数学基础 07/2026 · 可检索概念手册 · 系统整理 AIGC、LLM、Diffusion、RLHF 与 DPO 相关数学概念

  面向希望查阅和系统学习 AIGC 与 LLM 数学基础的研究者和工程师：把张量线性代数、 矩阵微积分、概率信息论、优化和数值计算、Transformer、next-token prediction、 LoRA、VAE、GAN、Diffusion、Flow Matching、RLHF、DPO 和评测统计中的关键概念整理成 可检索概念手册。每个概念按直觉解释、数学形式、模型中的位置和常见误区组织，并配套 attention、softmax、生成路径和 DPO loss 的交互实验。

  AIGC LLM 数学基础 DPO
• 
  LeetCode 热题 100 07/2026 · Python 题解与复杂度分析 · 100 道 Hot100 题目的题意、分析、复杂度与 Python 解法

  按官方 LeetCode 热题 100 学习计划整理哈希、双指针、滑动窗口、数组、矩阵、链表、二叉树、 图论、回溯、二分、栈、堆、贪心和动态规划题。每题给出自写题意摘要、解题思路、 Python 3 代码注释和复杂度分析，便于系统复盘算法不变量。

  LeetCode Hot100 Python 算法题
• 
  视频生成技术 07/2026 · Video VAE 到 Wan / LTX · Video VAE、DiT、Flow Matching、Wan、LTX、VACE、IC-LoRA 与音视频生成

  Video VAE latent tokens 决定视频生成可扩展性：它们把高维像素视频压到可训练的 时空 latent space，让 DiT 与 Flow Matching 能在更低成本下建模运动、镜头和语义。 Wan 与 LTX 因此走向两条路线：Wan 更偏向高质量生成、角色动画和统一编辑，LTX 更偏向 高压缩、蒸馏、多尺度超分、IC-LoRA 和联合音视频生产工作流。

  视频生成 Wan LTX 音视频生成
• 
  图像生成技术 07/2026 · 数据、训练、RL 与蒸馏 · FLUX.2、Qwen-Image、Z-Image 的数据、VAE、caption、RL 与蒸馏

  现代图像生成模型的能力，不是单一 architecture 单独决定的，而是由数据分布、OCR caption、VAE latent 接口、编辑样本、奖励信号和 few-step distillation 共同塑造。这里比较 FLUX.2、Qwen-Image 与 Z-Image 三条路线，并给出数据 schema、评估指标、失败模式诊断和按预算分层的训练 recipe。

  图像生成 数据治理 文字渲染 RLHF
• 
  生成模型加速技术 07/2026 · 采样、缓存、量化与 serving · 采样、attention kernels、KV cache、量化、serving 与分布式训练

  生成模型加速要先定位瓶颈：compute、memory bandwidth、串行采样深度、调度、 cache 和通信往往限制在不同层面。这里用公式、伪代码和交互实验串起 FlashAttention、KV cache、PagedAttention、continuous batching、量化、 speculative decoding、diffusion samplers 与 caches、token reduction、 LoRA/QLoRA、ZeRO/FSDP 和 sparse architectures。

  模型加速 KV Cache 量化 Serving
• 
  生成模型原理介绍 06/2026 · 概率建模到采样过程 · 从概率建模一路接到训练、采样和对齐

  从概率模型出发，不同生成范式可以统一理解为目标函数、采样过程和后训练约束的组合。 这里从目标函数到采样过程推导 VAE、VQ-VAE/VQGAN、GAN、diffusion、 Flow Matching、MeanFlow、autoregressive models，以及 RLHF/PPO、DPO、 GRPO、DDPO、Flow-DPO 等后训练方法。

  生成模型 ELBO 训练与采样 RL 对齐
• 
  生成模型蒸馏技术介绍 06/2026 · 路径压缩到自回归自校正 · 从 teacher path 压缩到 distribution matching 与 self-rollout correction

  生成式蒸馏不是经典 KD 的 logits 模仿。核心问题是低 NFE student 到底应该匹配 teacher path、endpoint、noisy marginal distribution、adversarial feature， 还是自己推理时会访问的 self-rollout state distribution。这里用公式、伪代码和 交互机制实验串联 Progressive/Guided Distillation、Consistency/LCM、DMD/DMD2、 ADD/LADD、Flow shortcuts、Self-Forcing 和 Self-Forcing++。

  Diffusion 蒸馏 快速生成