据 IT 之家 12 月 25 日报道，苹果公司于 2023 年 10 月与哥伦比亚大学的研究人员合作发布了名为 Ferret（雪貂）的开源多模态 LLM，但在当时并没有引起太多关注。因此许多人工智能社区的人士都错过了 Ferret 的发布。 经营着一个专注于医学领域开源人工智能的欧洲非营利组织的 Bart de Witte 近日在 X 上发帖：“我不知何故错过了这一点，苹果于 10 月加入了开源人工智能社区。Ferret 的推出证明了苹果致力于影响深远的人工智能研究，巩固了其在多模态人工智能领域领导者的地位……ps：我期待着有一天，本地大型语言模型（LLLMs）作为重新设计的 iOS 的集成服务运行在我的 iPhone 上。” 据悉，Ferret 可以检查图像上绘制的区域，识别其中的元素，并将其框选起来。然后，它可以将识别出的元素作为查询的一部分，并以典型的方式进行响应。Ferret 的发布对研究人员来说意义重大，表明苹果正在逐步开放其 AI 研究，这与其以往神秘封闭的形象形成了鲜明的对比。

据站长之家 10 月 12 日报道，苹果 AI/ML 团队与哥伦比亚大学研究团队合作开发的多模态大模型“雪貂”（Ferret）能够在图像中准确找到交通信号灯，比 GPT-4V 表现更出色，提高了大模型在“看说答”任务中的精确度。 Ferret 的关键创新在于将引用（referring）和定位（grounding）两方面的空间理解能力紧密结合，使模型能够同时理解给定区域的语义和找到对应目标。