OpenEBFM 开源：能量基础模型在最大约 1B 参数下持续受益于规模扩展

原标题：🚀 OpenEBFM: Can Energy-Based Models Scale as Foundation Models? Code and Weights Released

OpenEBFM 团队发布能量基础模型（EBFM）的开源代码、预训练权重、训练配方与论文，将生成拆分为能量引导和 token 生成两步，共享同一 Transformer backbone。在 FineWeb、DCLM、ClimbMix 上的预训练实验显示，EBFM 在 268M 到 1B 参数规模下验证 BPB 低于同规模 GPT 基线且差距随训练 token 预算扩大，最大模型在 DCLM 上零样本 QA 平均准确率 44.71% 对基线 39.79%；作者强调这不能证明能量模型普遍更优，但表明能量学习能持续受益于数据和模型规模扩展。

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体，原文版权归原作者所有。