楽天がRakuten AI 3.0モデルをリリース、設定ファイルは下層アーキテクチャがDeepSeek V3であることを示す

Gate Newsの報道によると、3月17日、楽天グループは「日本最大の高性能AIモデル」としてRakuten AI 3.0を発表し、Apache 2.0ライセンスの下で無料オープンソース化しました。このモデルはMoE(混合専門家)アーキテクチャを採用し、総パラメータは671B、推論時に活性化されるパラメータは37B、コンテキストウィンドウは128Kで、日本語に最適化されています。複数の日本語ベンチマークテストでGPT-4oを上回っています。

このモデルは、日本経済産業省と新エネルギー産業技術総合開発機構(NEDO)が共同推進するGENIACプロジェクトの成果であり、日本政府から一部のトレーニング計算資源の支援を受けています。楽天は発表の中で、「オープンソースコミュニティの最良の成果を十分に活用した」と述べ、具体的なモデル名には言及していません。

コミュニティはHuggingFaceに公開されたモデルファイルを確認し、config.jsonに「model_type: deepseek_v3」および「architectures: DeepseekV3ForCausalLM」と明記されていることから、総パラメータ671B、活性化37B、コンテキスト128KはDeepSeek V3と完全に一致しており、このモデルはDeepSeek V3を基に日本語データで微調整されたものであることが示されています。

原文表示
免責事項:このページの情報は第三者から提供される場合があり、Gateの見解または意見を代表するものではありません。このページに表示される内容は参考情報のみであり、いかなる金融、投資、または法律上の助言を構成するものではありません。Gateは情報の正確性または完全性を保証せず、当該情報の利用に起因するいかなる損失についても責任を負いません。仮想資産への投資は高いリスクを伴い、大きな価格変動の影響を受けます。投資元本の全額を失う可能性があります。関連するリスクを十分に理解したうえで、ご自身の財務状況およびリスク許容度に基づき慎重に判断してください。詳細は免責事項をご参照ください。
コメント
0/400
コメントなし