トークン

LLM API を日本語で使っていると、英語ユーザーと比べて知らないうちに多くのコストを支払っている。この「言語税」とも言える現象を、6社・9言語の比較データで整理した投稿が話題になった。 「言語税」とは何か 日本語ユーザーは無自覚に「言語税」を払い続けている。同じ処理内容であっても、日本語で問い合わせる分だけ余計にトークンを消費し、API コストが積み上がる構造だ。 特に以下のような用途では影響が大きい。 大量のテキスト処理: 文書要約、翻訳、レビューなどを日本語で大量に行う場合 チャットボット・カスタマーサポート: 日本語ユーザーとの会話が続くアプリケーション RAG（Retrieval-Augmented Generation）: 日本語ドキュメントをコンテキストに含める場合 日本語は英語の約 1.48 倍のトークンを消費する 同じ内容を日本語で LLM に投げると、英語に比べて平均 1.48 倍 のトークンを消費するという計算がある。これは 6 社の LLM プロバイダーの平均値だ。 日本語はトークン効率が低くなる理由はトークナイザーの設計にある。英語は複数の文字が 1 トークンに対応するケースが多いが、日本語はひらがな・カタカナ・漢字が混在しており、1 文字が 1 トークンに対応するケースが多い。そのため同じ情報量でも消費トークン数が増えやすい。 プロバイダー別の日本語トークン比率 プロバイダーによって日本語処理のトークン効率には大きな差がある。 プロバイダー 日本語トークン比率（英語比） Anthropic（Claude） 1.94x Gemini 3.1 1.14x 平均（6社） 1.48x ※ 全6社の内訳は元ツイートのスレッドを参照。 Anthropic の Claude は日本語で英語の約 2 倍のトークンを消費する一方、Gemini 3.1 はほぼ英語並みのトークン効率を実現している。Claude（1.94x）と Gemini（1.14x）を比べると 1.94 ÷ 1.14 ≈ 1.7 倍 の差があり、モデル選びだけでコストが最大 1.7 倍変わるという計算になる。 コスト削減のアプローチ この「言語税」を意識した場合、以下のアプローチが有効だ。 1. プロバイダーの使い分け 日本語処理が多い用途では Gemini 3.1 など日本語トークン効率の高いモデルを選択する。Anthropic の Claude は能力が高い一方、日本語コストが割高になるため、用途に応じた使い分けが重要だ。 ...