Fireworks AI推出训练平台预览版,支持万亿参数全参数训练

区块律动

据 1M AI News 监测,AI 推理基础设施公司 Fireworks AI 发布 Fireworks Training 预览版,从纯推理平台扩展为训练与部署一体化平台。Fireworks AI 由曾参与构建 PyTorch 的前 Meta 工程师乔琳(Lin Qiao)创立,目前估值 40 亿美元,日处理 token 量达 15 万亿。

平台提供三个层级:

  1. Training Agent:面向无 ML 基础设施的产品团队,描述任务、上传数据即可完成从训练到部署全流程,目前仅支持 LoRA
  2. Managed Training:面向 ML 工程师,支持 SFT、DPO 和强化学习微调,含全参数训练
  3. Training API:面向研究团队,可自定义损失函数和训练循环,支持 GRPO、DAPO 等算法

全参数训练规模从单节点 Qwen3 8B 到 64 块英伟达 B200 上的 Kimi K2.5(万亿参数)。

Fireworks AI 的生产推理客户 AI 编程工具 Cursor、Vercel 和 Genspark 已在该平台上完成前沿强化学习训练。Vercel 为其代码生成产品 v0 训练了自动纠错模型,无错误代码生成率达 93%,其 CTO Malte Ubl 称对比下 Sonnet 3.5 仅为 62%,端到端延迟较此前使用的闭源模型改善 40 倍。Genspark 对万亿参数开源模型 Kimi K2 做强化学习微调以构建深度研究代理,工具调用量提升 33%,成本降低 50%。Cursor 在全球 3 至 4 个集群上分布式完成了 Composer 2 的强化学习训练(目前在 CursorBench 排名第一),训练与生产推理共享同一 GPU 池。

Fireworks AI 强调的核心技术差异化是训练与推理之间的数值一致性。MoE(混合专家)模型在数值上比稠密模型更脆弱,隐藏状态的微小变化可能翻转专家路由并级联放大。Fireworks 为所有支持的模型公布训练与推理之间的 KL 散度值,均低于 0.01。

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明
评论
0/400
暂无评论