Apple merilis LLM multimodal Open Source yang disebut Ferret pada Oktober 2023 bekerja sama dengan para peneliti di Universitas Columbia, tetapi tidak menarik banyak perhatian pada saat itu, seperti dilansir IT House pada 25 Desember. Akibatnya, banyak anggota komunitas AI melewatkan peluncuran Ferret. Bart de Witte, yang menjalankan organisasi nirlaba Eropa yang berfokus pada AI open source dalam kedokteran, baru-baru ini memposting di X: "Saya entah bagaimana melewatkan ini, Apple bergabung dengan komunitas Open Source AI pada bulan Oktober. Peluncuran Ferret adalah bukti komitmen Apple untuk penelitian AI yang luas, memperkuat posisinya sebagai pemimpin dalam pengembangan AI multimodal. ps: Saya menantikan hari ketika Model Bahasa Besar Lokal (LLLM) akan berjalan di iPhone saya sebagai layanan terintegrasi untuk iOS yang didesain ulang. Ferret dikatakan dapat memeriksa area yang digambar pada gambar, mengidentifikasi elemen di dalamnya, dan mengemasnya. Kemudian dapat mengambil elemen yang diidentifikasi sebagai bagian dari kueri dan merespons dengan cara yang khas. Rilis Ferret sangat penting bagi para peneliti, karena menunjukkan bahwa Apple secara bertahap membuka penelitian AI-nya, sangat kontras dengan gambar yang sebelumnya tertutup secara misterius.

Menurut sebuah laporan oleh Webmaster House pada 12 Oktober, tim AI / ML Apple dan tim peneliti Universitas Columbia mengembangkan model besar multimodal "Ferret" yang dapat secara akurat menemukan lampu lalu lintas dalam gambar, yang berkinerja lebih baik daripada GPT-4V dan meningkatkan akurasi model besar dalam tugas "melihat, berbicara, menjawab". Inovasi kunci Ferret terletak pada kombinasi erat pemahaman spasial baik merujuk dan membumi, memungkinkan model untuk memahami semantik wilayah tertentu dan menemukan target yang sesuai pada saat yang sama.