2026-05-09 07:41:27
MiniMax quét 200 nghìn token, phát hiện mức suy giảm 4,9% ở các mô hình dòng M2
Theo blog kỹ thuật của MiniMax, công ty đã phát hiện sự suy giảm token đáng kể trong các mô hình dòng M2 của mình thông qua một lần quét toàn bộ vốn từ vựng. Khoảng 4,9% trong số 200.000 token cho thấy mức giảm hiệu năng rõ rệt, trong đó token tiếng Nhật chịu ảnh hưởng nặng nhất ở 29,7%, so với tiếng Hàn (3,3%), tiếng Nga (3,7%), tiếng Trung (3,9%) và tiếng Anh (3,5%). Sự suy giảm xuất phát từ việc các token tần suất thấp bị đẩy sang các hướng không gian vector sai trong giai đoạn hậu huấn luyện