字节豆包团队推出稀疏模型架构UltraMem：推理成本可降83%

[db:作者]

突破性创新：字节跳动推出 UltraMem 稀疏模型架构
据报道，字节跳动 AI 研究团队最近取得了一项重大进展，发布了名为 UltraMem 的稀疏模型架构。
UltraMem 架构的独特性在于，它巧妙地分离了计算和参数。这种创新设计解决了长期困扰推理过程的访存问题，同时保持了模型的卓越性能。
该架构专为混合专家 (MoE) 模型而设计，MoE 模型在推理阶段经常面临高访存成本的挑战。UltraMem 通过其创新的设计，有效地解决了这一瓶颈。
实验结果表明，UltraMem 架构显著提升了推理速度，与传统的 MoE 架构相比，提升幅度高达 2 至 6 倍。此外，它还大幅降低了推理成本，最高可达 83%。
在具有 2000 万值的训练规模下，UltraMem 模型在同等级别的计算资源上实现了业界领先的推理速度和性能。这一突破为构建价值数十亿的模型铺平了道路，为人工智能领域开辟了更为高效和经济的发展模式。