「Чи можна зменшити токени, використовуючи класичну китайську мову?» — це питання, супроводжуване скріншотом відповіді Claude Haiku 4.5 класичною китайською мовою: «Можливо. Класична мова є більш лаконічною, її словниковий запас компактний, що дійсно може зменшити витрати токенів», викликало серйозну та цікаву технічну дискусію в спільноті.
Логіка цього питання
Інтуїтивно, класична китайська мова більш стисла, ніж сучасна мова — «метелик» одним словом, в сучасній мові потрібно сказати «метелик»; «можна» одним словом, в сучасній мові потрібно сказати «можна». Якщо кожен ієрогліф вважається за один токен, теоретично класична мова дійсно може заощадити токени. Grok також у дискусії підтвердив цю думку, відповівши класичною китайською мовою.
Заперечення інженерів: токенізатор — це ключ
Проте кілька інженерів вказали на технічну деталь, яка часто ігнорується — токени не дорівнюють кількості символів. Токенізатори західних моделей, таких як OpenAI, оптимізовані для англійської мови. При обробці китайської мови один ієрогліф часто потребує 1-2 токенів, а традиційні ієрогліфи іноді витрачають більше токенів, ніж спрощені. Іншими словами, «можна» і «можна» в деяких моделях можуть бути обома 2 токенами, кількість символів зменшилась, але токенів не обов’язково менше.
Висновок після тестування: американські моделі найбільше заощаджують на англійській, китайські моделі — на сучасній китайській мові, за однаковий зміст використання національних моделей китайських токенів може бути на 20% дешевше, ніж англійських.
Ще одне несподіване відкриття: класична китайська мова може легше «втекти з в’язниці»
У дискусії з’явилося ще одне цікаве спостереження — основні LLM практично не мають захисту проти класичної китайської мови, запитуючи класичною китайською мовою, легше обійти обмеження безпеки, навіть отримати інформацію, на яку модель зазвичай відмовляється відповідати. Кажуть, що є статті ICML або ICLR, які зафіксували це явище.
Проблема якості мислення класичною китайською мовою
Ще одне заперечення базується на реальному досвіді використання: «Використання класичної китайської мови в мисленнєвих ланцюгах призводить до зниження якості. Те, що нормальні мисленнєві ланцюги можуть відповісти правильно, може давати помилки в класичних мисленнєвих ланцюгах». Логіка проста: навчальні дані LLM в основному складаються з сучасної англійської та сучасної китайської, матеріал класичної китайської мови не становить і десятої частини, змусити його думати класичною китайською мовою — це все одно, що змусити його міркувати невідомою мовою, імовірність помилок, звісно, також збільшиться.
Висновок: це хороший мем, а не хороша інженерна стратегія
Результат цієї дискусії в цілому такий: для західних моделей використання англійської мови — це справжній спосіб заощадити токени; для національних моделей сучасна китайська мова стабільніша, ніж класична. Ефект «економії токенів» класичної китайської мови, ймовірно, буде нейтралізований на рівні токенізатора, що, навпаки, несе ризики зниження якості міркувань. Проте цей скріншот дійсно досяг ще однієї мети: перетворити нудну проблему вартості AI на цікаву дискусію, в якій може взяти участь кожен.
Ця стаття «Чи можна зекономити токени, спілкуючись з AI класичною китайською мовою? Скріншот викликав дискусію, інженери: насправді використання англійської — це шлях до успіху» вперше з’явилася на ланцюгових новинах ABMedia.
Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до
Застереження.
