2026-05-10 04:45:31
Sakana AI 與 Nvidia 透過跳過 80% 的無效運算,使 H100 推論速度提升 30% 更快
Sakana AI 和 Nvidia 已開源 TwELL,這是一種稀疏資料格式,可讓 H100 GPU 在大型語言模型中跳過 80% 的無效運算,同時不犧牲準確性。該解決方案在 H100 上可提供最高 30% 更快的推論速度,以及 24% 更快的訓練速度,同時降低峰值記憶體使用量。在 1.5 十億參數模型的測試中,透過訓練期間使用輕量化正則化,該方法將作用中的神經元降至低於 2%,且在七項下游任務中沒有出現效能退化。