「用文言，可減 token 乎？」——この質問に対してClaude Haiku 4.5が文言文で「可也。文言較為簡潔，用詞凝練，確能減損 token 之耗損」と返答したスクリーンショットが、コミュニティで真剣かつ面白い技術討論を引き起こした。
この問題の論理
直感的に、文言文は白話文よりも精練である——「蝶」という一字は、白話では「蝴蝶」と言わなければならない。「可」という一字は、白話では「可以」と言う必要がある。もし漢字を一つのtokenと数えれば、理論的には文言文は確かにtokenを節約できる。Grokもディスカッションスレッドで文言文でこの主張を確認した。
エンジニアの反論：tokenizerが鍵
しかし、複数のエンジニアがよく見落とされる技術的な詳細を指摘した——tokenは文字数とは等しくない。OpenAIなどの西洋モデルのtokenizerは英語向けに最適化されており、中国語を処理する際、一つの漢字は往々にして1-2個のtokenを必要とし、繁体字は時に簡体字よりも多くのtokenを消費する。言い換えれば、「可」と「可以」はあるモデルではどちらも2個のtokenである可能性があり、文字数は少なくとも、tokenは必ずしも少なくはない。
実測後の結論は：アメリカのモデルは英語で最も節約でき、中国のモデルは現代中国語で最も節約でき、同じ内容を国産モデルで処理する場合、中文のtokenコストは英語より約20%安い。
別の意外な発見：文言文は「越獄」しやすいかもしれない
議論の中で、さらに興味深い観察が浮上した——主流のLLMはほとんど文言文に対する防御策を持っておらず、文言文で質問する方が安全制限を回避しやすく、モデルが通常拒否する内容を引き出すことができるとされている。ICMLやICLRの論文にこの現象が記録されているとのこと。
文言文思考チェーンの品質問題
もう一つの反論は実際の使用経験から来ている：「文言文思考チェーンは質の低下を引き起こす。通常の思考チェーンが正確に答えられるものを、文言文思考チェーンでは間違ってしまう。」理由は単純である：LLMのトレーニングデータは現代英語と現代中国語が主体であり、文言文のコーパスは十分の一にも満たない。文言文で考えさせることは、慣れない言語で推論させることと同義であり、幻覚率は当然両方向で増大する。
結論：良いmemeであり、良いエンジニアリング戦略ではない
この議論の結果は概ね次の通りである：西洋モデルに対しては、英語が真のtoken節約の方法であり、国産モデルに対しては現代中国語が文言文よりも安定している。文言文の「省token」効果はtokenizerのレベルで打ち消される可能性が高く、逆に推論品質の低下リスクをもたらす。しかし、このスクリーンショットは確かに別の目標を達成した：退屈なAIコストの問題を、誰もが参加できる面白い議論に変えた。
この記事「用文言文和 AI 對話能省 Token 嗎？一個截圖引爆討論，工程師：其實用英文才是王道」は、最初に鏈新聞 ABMediaに登場した。
