Blogs
54 articles
Filter articles by tag
- StrSR 深读：DiT 单步超分为何出现网格伪影，频谱约束如何缓解它
从去噪轨迹和图像频谱解释单步超分的网格伪影，对照加入频率损失前后的复原结果。
- FreeFlow：用 Latent Flow Matching 估计跨维分子自由能差
在共享潜空间中搬运两种分子的平衡样本，再用密度变化修正自由能差估计。
- ELITE 深读：3D 数据先验与单步扩散如何协作生成 Gaussian 头像
3D 先验约束头部几何，单步扩散补充面部细节，两者共同拟合可驱动的高斯头像。
- Scaling Laws：谨慎解读
对照 Kaplan 与 Chinchilla 的实验，解释固定算力时该怎样分配模型参数和训练数据。
- 面向自我改进的 Harness 工程
从文件记忆、后台任务和评估反馈，看编码智能体怎样利用上一次运行的经验。
- GaussianEmoTalker 深读：用 3D Gaussian 做实时情绪说话头像
用语音驱动高斯头像的口型，再用情绪类别和强度调节面部表情。
- AvatarForcing 精读：一步流式 diffusion 如何稳住分钟级 talking avatar
单步扩散逐段接收语音并生成视频，重点考察长时间说话时头像外观如何保持稳定。
- Wan-Streamer 深读：端到端实时音视频全双工模型到底解决了什么
拆解实时音视频模型如何边听边说，并在用户打断时调整回应。
- 生图 / 生视频 RL 后训练：从 DPO、GRPO 到 Diffusion / Flow Alignment
比较 DPO、GRPO 等方法如何把偏好或奖励转成图像与视频生成模型的训练信号。
- SeFi-Image 深读：Semantic-First Diffusion 如何把语义先行带进文生图基础模型
追踪语义和细节在扩散过程中的生成顺序，解释模型如何兼顾画面布局与纹理。
- DreamX-World 1.0 深读：交互式世界模型不是视频生成，而是全栈系统工程
从相机控制和场景记忆入手，看交互式世界模型如何在重访旧地点时还原场景。
- CVPR 2026 Report 深读：视觉研究正在从模型能力转向系统边界
梳理视觉评测、机器人系统和算力报告等议题，解读会议报告如何判断研究进展。
- FLUX.2 表征比较：VAE latent 不是预处理，而是生成模型的接口
比较图像编码器保留的细节，以及这些细节如何影响重建质量和生成模型的学习难度。
- D4RT：把动态 4D 重建改写成时空点查询
给定视频中的一个位置和时刻，通过查询估计它在三维空间中的坐标。
- StyleTalk：从参考视频里抽取 speaking style 的 one-shot talking head
从参考视频提取说话风格，再结合目标语音，让同一句话呈现不同的面部动作。
- PC-Talk：用隐式关键点做可精细控制的 talking face
将局部动作映射到隐式关键点，在语音驱动头像时单独调节面部表情。
- PiD：把 latent decoder 改成 Pixel Diffusion
以图像潜变量和文本为条件，让像素空间的扩散解码器直接生成高分辨率细节。
- RAEv2：Representation Autoencoder 的三个关键改进
从视觉编码器的多层特征出发，分析表征自编码器怎样兼顾重建细节与生成质量。
- ELF：把扩散语言模型留在连续 embedding 空间里
在连续词向量中学习文本的生成轨迹，直到最后一步才解码为离散词元。
- Dual Diffusion：用扩散模型同时做图像生成和视觉理解
同一 Transformer 同时学习图像的连续扩散和文本的离散扩散，兼顾生图与看图回答。
- Seedance 2.0：视频生成从单次出片走向多模态创作引擎
按文生视频、图生视频和参考素材创作三种任务，比较画面、声音和控制效果。
- MeanFlow：一步生成不是蒸馏，而是学习平均速度场
从瞬时速度推导一段时间内的平均速度，说明模型为何能用一次更新完成采样。
- Mean Mode Screaming：为什么 1000 层 Diffusion Transformer 会被 token 均值拖垮
追踪图像 token 的均值在深层网络中如何逐层放大，解释分开处理均值和残差的作用。
- Flow-OPD：把多任务奖励对齐改写成 Flow Matching 的 on-policy 蒸馏
让多个奖励专家指导同一学生模型，分析按学生自己的采样轨迹蒸馏如何处理奖励冲突。
- Edit2Restore：把图像复原改写成少样本图像编辑
用少量退化图与清晰图配对微调编辑模型，比较专用适配器与通用适配器的复原效果。
- Code as Agent Harness：把代码看成 Agent 的运行底座
通过可执行代码连接工具、状态和验证步骤，让智能体能检查并继续自己的工作。
- AsymFlow：把 latent flow 拉回 pixel space 的低秩速度参数化
分解像素空间的速度场，让模型用低秩预测处理高维图像噪声。
- SHARP：单张照片在一秒内变成可实时渲染的 3D Gaussian 场
从单张照片预测三维高斯，解释它为何适合渲染原相机附近的小幅视角变化。
- Follow the Mean：把参考样本变成 Flow Matching 的控制信号
用一组参考样本引导采样时的速度场，在冻结模型参数的情况下控制生成结果。
- LPM 1.0：从 talking head 到实时对话角色 Performance Model
拆解说话与倾听两路音频如何驱动角色，让它在实时对话中既能开口也能做出反应。
- Self-Flow：把表征学习塞回 Flow Matching 训练目标里
给同一样本中的不同位置设置两种噪声强度，让生成模型在学习去噪的同时学习语义表征。
- 为什么 RoPE 对外推友好
从旋转如何编码相对距离出发，比较位置插值等方法扩展上下文长度的代价。
- Self-Forcing 到 Self-Forcing++：让自回归视频扩散按推理方式训练
让视频模型用自己生成的帧继续训练，分析训练与推理的上下文差异如何造成长视频漂移。
- noao-vlm-2 数据集与评估系统分析
跟踪图文样本从过滤、图像分块到序列打包的过程，并梳理视觉问答的评估流程。
- noao-vlm-1 架构详细分析
沿一张图像的数据流，解释视觉编码器、投影层和语言解码器如何衔接。
- noao-vlm-0 train.py 详细分析
对照 nanoVLM 的训练脚本，梳理模型初始化、梯度累积、分布式训练和验证。
- noao-chat-7-nonochat 多卡训练指南
从启动多个训练进程到同步梯度，说明多张 GPU 如何分摊同一批训练数据。
- noao-chat-6-训练评估指南
对照每字节比特数和下游任务表现，区分基础模型与对话模型各自该怎样评估。
- noao-chat-5-训练四阶段数据报告
并列梳理预训练、中间训练、监督微调和强化学习四个阶段的数据来源与用途。
- noao-chat-4-rl阶段训练
跟随一次回答采样，看奖励和优势估计如何进入策略梯度更新。
- noao-chat-3-sft阶段训练
用一轮对话说明损失掩码怎样选中助手的回复，以及监督微调究竟在学习哪些词元。
- noao-chat-2-mid阶段训练
对照预训练和监督微调，解释为什么中间训练会把用户输入也计入损失。
- noao-chat-1-base阶段训练
跟踪一批文本从分词到损失计算的过程，看基础语言模型如何学习预测下一个词元。
- noao-chat-0-项目总体介绍
沿分词、预训练和对话微调梳理 nanochat 源码，定位各阶段的训练入口。
- Efficient Rectified Flow for Image Fusion
在缺少标准融合图时，用融合先验引导整流流采样，合并红外与可见光图像的信息。
- 3Blue1Brown 线性代数笔记
借助空间的旋转、拉伸与翻转，直观理解矩阵乘法和线性变换。
- 线性代数的常见概念集合
将向量、子空间和矩阵等常见概念的定义与几何直觉放在一起对照。
- DiT4SR: Taming Diffusion Transformer for Real-World Image Super-Resolution
在扩散 Transformer 中加入低分辨率分支，通过注意力和残差把原图结构传给超分模型。
- Dual Prompting Image Restoration with Diffusion Transformers
拆解低质量图像分支与双重提示如何把全局结构和局部细节送入扩散复原模型。
- FLOAT 深读：为什么 talking portrait 应该先生成 motion latent
先把身份与动作分开，再用流匹配从语音预测动作轨迹，驱动单张人像说话。
- Stable Video-Driven Portraits
将源照片和驱动视频的信号拼接输入 DiT，用时空注意力传递姿态与表情。
- moco 论文摘要
解释动量编码器和负样本队列怎样配合，为无监督对比学习提供稳定的字典。
- 小于1000的正整数立方和pair
用哈希表按立方和分组，找出数值均小于一千、立方和相等的正整数对。
- 什么是deep learning
从函数拟合和损失函数出发，回顾深度学习的基本直觉与工作中的体会。
No posts match these tags.