Qwen 3.6 27B 密集模型在RTX 3090上達40 tok/秒

robot
摘要生成中

AIMPACT 消息,4 月 24 日(UTC+8),2026年4月24日,用户 @sudoingX 發布初步測試結果:Qwen 3.6 27B Dense 模型在單張 RTX 3090 24GB 顯卡上,以 40 tok/s 的速度通過 10/10 測試。該結果未使用量化技巧或融合內核,僅採用 llama.cpp 的 Q4_K_M 直接量化。用戶還編寫了一個粒子群基準測試來評估模型。(來源:InFoQ)

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 留言
  • 轉發
  • 分享
留言
請輸入留言內容
請輸入留言內容
暫無留言