2023年10月までのデータに基づき、以下の内容を日本語に翻訳します。
1M AI Newsの監測によると、MeituanのロンゴマチームはLongCat-Nextをオープンソース化しました。これはMoEアーキテクチャに基づき、活性化パラメータ3Bのネイティブマルチモーダルモデルであり、単一の自己回帰フレームワークの下でテキスト、ビジュアル理解、画像生成、音声理解、音声合成の五つの能力を統一しています。モデルと付属のトークナイザーはMITライセンスで公開されており、重みはHuggingFaceにアップロードされています。
LongCat-Nextのコア設計はDiNA(離散ネイティブ自己回帰)パラダイムです。各モダリティに対してペアのトークナイザーとデコーダーを設計し、視覚と音声信号を離散トークンに変換し、テキストと同じ埋め込み空間を共有します。これにより、次のトークン予測を用いてすべてのタスクを統一的に処理します。視覚側の重要なコンポーネントであるdNaViT(離散ネイティブ解像度ビジョントランスフォーマー)は、画像特徴を「ビジュアルワード」に抽出し、動的トークナイゼーションとデコーディングをサポートします。28倍の圧縮比にもかかわらず、画像生成の品質は高く、特に文字レンダリングにおいて優れた性能を示しています。
同等の活性化パラメータ量(A3B)のモデルと比較した場合、LongCat-Nextの主要なベンチマーク結果は以下の通りです。
統一モデルの理解と生成の横断比較において、LongCat-NextのMMMUスコアは70.6で、2位のNEO-unify(68.9)をリードし、BAGEL(55.3)やOvis-U1(51.1)などの従来の統一モデルを大きく上回っています。SWE-Bench 43.0やTau2シリーズのツール呼び出しベンチマークの結果も、このマルチモーダル統一アーキテクチャが純粋なテキストやエージェント能力を犠牲にしていないことを示しています。