أطلقت ByteDance وجامعة تشجيانغ بشكل مشترك Vista-LLaMA ، وهو نموذج لغة كبيرة متعدد الوسائط يمكنه تفسير محتوى الفيديو

دخلت Bit ByteDance في شراكة مع جامعة تشجيانغ لإطلاق Vista-LLaMA ، وهو نموذج لغوي كبير متعدد الوسائط مصمم لفهم محتوى الفيديو وقادر على إخراج أوصاف فيديو عالية الجودة. من خلال معالجة الرموز المرئية واللفظية المبتكرة ، يحل Vista-LLaMA مشكلة “الهلوسة” في محتوى الفيديو.

يتفوق Vista-LLaMA في العديد من معايير الأسئلة والأجوبة للفيديو المفتوح ، خاصة في اختبارات NExT-QA و MSRVTT-QA. حققت معدل دقة بنسبة 60.7٪ في اختبار NExT-QA بدون طلقة و 60.5٪ في اختبار MSRVTT-QA ، متجاوزة جميع طرق SOTA الحالية. توضح هذه النتائج كفاءة ودقة Vista-LLaMA في فهم محتوى الفيديو وإنشاء الوصف.