|
ChMkLWiLr-KIQyxdAAC7M4SEL0gAAB6UwK-hJEAALtL153.jpg
字节跳动 Seed 团队于 7 月 31 日正式发布实验性扩散语言模型 Seed Diffusion Preview。该模型旨在以结构化代码生成为主要实验方向，系统评估离散扩散技术路径作为下一代语言模型基础架构的可行性。
根据团队公布的实验数据，Seed Diffusion Preview 在代码推理任务中的处理速度可达每秒 2146 个 token，相比同等规模的自回归模型，推理速度提升了 5.4 倍。同时，该模型在多项行业基准测试中的表现与先进的自回归模型持平，并在诸如代码编辑等特定任务上实现了性能超越。
据 Seed 团队介绍，Seed Diffusion Preview 在保持高效采样能力的基础上，在多个代码生成测试基准上展现出与自回归模型相近的水平。而在需要全局规划能力的任务中，例如 CanitEdit 等代码编辑场景，该模型更充分地体现出扩散模型架构的潜在优势，表现出优于自回归模型的能力，为解决更复杂的结构化推理问题带来了新的思路。
官方指出，Seed Diffusion Preview 成功验证了离散扩散模型在大语言模型推理加速方面的潜力。团队表示，推理效率的提升只是该技术路径的初步优势，Seed Diffusion 项目将持续探索其背后的规模化规律以及在复杂推理任务中的更深层次应用价值。 | 
发表于 
