Appleは2023年10月にコロンビア大学の研究者と共同でFerretというオープンソースのマルチモーダルLLMをリリースしましたが、12月25日にIT Houseが報じたように、当時はあまり注目されていませんでした。 その結果、AIコミュニティの多くのメンバーがFerretの発売を逃しました。 医療におけるオープンソースAIに焦点を当てたヨーロッパの非営利団体を運営するBart de Witte氏は、最近Xに「どういうわけか、私はこれを見逃していました。Appleは10月にオープンソースAIコミュニティに参加しました。 Ferretの発売は、広範囲にわたるAI研究に対するAppleのコミットメントの証であり、マルチモーダルAIのリーダーとしての地位を確固たるものにしています... ps:Local Large Language Models(LLLM)が、再設計されたiOSの統合サービスとして私のiPhoneで実行される日を楽しみにしています。 フェレットは、画像に描かれた領域を調べ、その中の要素を識別し、箱詰めすることができると言われています。 その後、識別された要素をクエリの一部として取得し、通常の方法で応答できます。 Ferret氏のリリースは、AppleがAI研究を徐々にオープンにしていることを示すものであり、これまで謎に包まれていたイメージとは全く対照的に、研究者にとって重要な意味を持つ。

10月12日のウェブマスターハウスのレポートによると、AppleのAI / MLチームとコロンビア大学の研究チームは、画像内の信号機を正確に見つけることができるマルチモーダル大型モデル「フェレット」を開発し、GPT-4Vよりも優れたパフォーマンスを発揮し、「見て、話す、答える」タスクで大型モデルの精度を向上させます。 Ferretの主な革新は、参照と接地の両方の空間的理解の緊密な組み合わせにあり、モデルが特定の領域のセマンティクスを理解し、対応するターゲットを同時に見つけることができるようにします。