
何恺明等团队新作崭新出炉,再次通衢至简——
他们引入平均速率,竣事「一步生成」新 SOTA。

CMU 博士生耿正阳一作,何恺明的学生邓明扬、白行健参与。
他们提议的模子是从新运行训练的,莫得任何预训练、蒸馏或课程学习,最终竣事了 3.43 的 FID 值,昭着优于之前开首进的一步扩散 / 流模子。

一步生成框架:引入平均速率
一次生成模子,指的是只需一步策动就产生高质料的终端,而无需屡次迭代。
团队提议了一个原则性强且有用的单步生成框架 MeanFlow。其中枢念念想是引入平均速率的主见来表征流场,这与流匹配模范所模拟的瞬时速率迥乎不同。

△流匹配的速率场,瞬时速率
平均速率被界说为位移与本事阻隔的比率,位移由瞬时速率的本事积分给出。

把柄这一界说,这施展平均速率和瞬时速率之间界施展确的内在斟酌,这天然成为率领网罗训练的原则基础。

咱们的模范被称为 MeanFlow 模子,它自成一体,无需事前训练、索求或课程学习。
演示 1:通过 jvp 策动只需要一次后向传递,近似于神经网罗中的表率反向传播,支拨不到总训练本事的 20%。

演示 2 提供了伪代码。天然一步采样是这项责任的要点,但团队要强调的是,把柄底下的公式,几步采样亦然很浅薄的。
他们在 256 × 256 差异率下生成的 ImageNet 上进行了主要施行,并对函数评估次数(NFE)进行了磨真金不怕火,并盘考了默许情况下的 1-NFE 生成。
它在从零运行训练的 ImageNet 256 × 256 上通过 1-NFE 达到了 3.43 的 FID,这一终端以 50% 到 70% 的相对上风昭着优于同类中过去的先进模范。
1-NFE ImageNet 256 × 256 生成的消融盘考。

MeanFlow 模子在 256 × 256 ImageNet 在模子大小方面发扬出雅致的可膨胀性。

与其他生成模子对比,从零运行训练的 1-NFE 和 2-NFE 扩散 / 流动模子。

该盘考大大减轻了一步式扩散 / 流模子与其多步式前身之间的差距。
从广义上讲,这项责任所辩论的情况与物理规模的多模范模拟问题相关,这些问题可能波及空间或本事上的一系列模范、长度和差异率。进行数值模拟本人就受到策动机差异模范范围才略的戒指。他们的模拟波及在更粗的粒度水平上容颜基本量,这是物理学中很多进犯利用的共同主题。团队但愿他们责任能为相关规模的生成建模、模拟和能源系统盘考架起一座桥梁。
MIT&CMU 团队
这一恶果由 MIT&CMU 团队共同完成。

其中一作耿正阳,CMU 策动机博士生,导师是 Zico Kolter,在 MIT 沟通时完成此恶果。此前在北大当盘考助理,此外还曾在 Meta Reality Labs 实习,勤恳于于识别、勾通和建造自组织复杂系统的能源学。
此外还有何恺明的两位学生:邓明扬、白行健。
邓明扬本科亦然在 MIT 读数学和策动机科学。现在他的盘考要点是机器学习,卓越是勾通和鼓舞生成式基础模子,包括扩散模子和大型话语模子。
白行健,他领有牛津大学数学与策动机科学硕士和学士学位。盘考所在为经典算法与深度学习的交叉规模,涵盖物理启发式生成模子和学习增强算法等主题。更平方地说,勤恳于于那些具有科学影响力和启发性的盘考。
论文邻接:
https://arxiv.org/abs/2505.13447v1
— 完 —
� � 量子位 AI 主题经营正在征结合!迎接参与专题365 行 AI 落地决策,一千零一个 AI 利用,或与咱们共享你在寻找的 AI 居品,或发现的AI 新动向。
� � 也迎接你加入量子位逐日 AI 沟通群,一说念来畅聊 AI 吧~
一键关心 � � 点亮星标
科技前沿进展逐日见
一键三连「点赞」「转发」「遏制心」
迎接在驳斥区留住你的目标!开云体育