生成AIのトークンとは?文字数・文脈の上限との違い

AIの『100万トークン』は100万文字を意味しません。入力と出力、文脈の上限、回答の上限を分け、長い資料を渡すときの確認点を初心者向けに整理します。

トークンは、生成AIが文章などを処理するときの単位です。文字数と同じではありません。 「何トークンまで」という数字は、入力、回答、一度の処理で扱う範囲のどこを指すかで意味が変わります。

この記事は2026年10月14日に確認した各社の開発者向け公式資料をもとにした入門解説です。個別のチャットアプリの利用枠や料金は、製品とプランによって異なります。

トークンは文字や単語とどう違う?

OpenAIの説明では、1つのトークンは1文字、単語の一部、単語全体、記号などになり得ます。文章をトークンに分ける方法は、モデルや言語によって変わります。したがって「日本語の1文字=1トークン」のような換算はできません。

例えば「明日の予定を要約して」という同じ文章でも、どのモデルで数えるかによって結果は違い得ます。OpenAIは英語の目安として「約4文字で1トークン」としています。Googleのトークン解説も約4文字と、英単語での目安を示しています。どちらも日本語を固定比率で換算する根拠にはなりません。

また、画像やPDFを付けた依頼は、見えている文章の文字数だけでは入力全体の量が分かりません。Googleは画像や音声もトークンとして扱うと説明しています。Anthropicのカウント機能も、文章に加えて画像やPDFなどを含むメッセージを対象にしています。

「入力」「文脈」「出力」は別の数字

一つの文脈の枠内に入力と出力を並べた図。入力は質問・資料・会話履歴、出力は回答と場合によっては内部の推論。出力には別の上限もある

入力トークンは、質問、渡した資料、会話履歴など、モデルに送る内容の量です。**文脈の上限(コンテキストウィンドウ)**は、モデルが一度の処理で扱える量の上限です。入力だけで枠を使い切らず、回答や内部の推論に使う余地も必要です。出力トークンの上限は、その枠の中で生成する量にかかる別の制約です。OpenAIの推論モデル資料も、推論トークンは文脈の枠を占め、出力の制限も受けると説明しています。上限の具体的な値はモデルごとに確認が必要です。

例えば長い資料を渡すとき、入力が上限内でも、十分な回答の長さを確保できるかは別の確認事項です。先日のGemini 4 Argonの記事で触れた「100万トークン」も、発表で強調されたのは出力側の上限でした。資料を100万文字読める、または内容を漏れなく理解できる、という意味にはなりません。

さらに、前日の推論・Thinkingの解説で扱ったように、推論モデルは画面に出ない検討にもトークンを使うことがあります。OpenAIの資料では、この推論トークンは出力側の利用量に含まれます。見える回答が短くても、使用量が同じ長さになるとは限りません。

長い資料を渡すとき、何を確認する?

私なら「何万トークン対応」という宣伝文句より、手元の資料を入れたあとに必要な回答が得られるかを先に試します。例えば議事録を5本まとめるなら、まず1本だけ渡し、「決定事項」「担当者」「未決事項」を元の箇所とともに抜き出すよう頼みます。正しく拾えているかを見てから量を増やします。これは公式の性能保証ではなく、読み落としを見つけるための実務的な試し方です。

APIを使う場合、Googleは送信前に入力を数えるcount_tokensと、実行後の使用量を確認する方法を案内しています。Anthropicも送信前のカウント機能を提供しますが、その数値は見積もりで、実際の入力使用量と少し異なる場合があります。OpenAIはテキストだけの概算では、メッセージ構造や画像・ファイルを含む依頼全体の量を表せないと説明しています。実際に使うモデルと依頼内容で数えることが大切です。

チャットアプリでは、APIと同じカウント表示がない場合もあります。そのときは長い資料を節ごとに分け、各節の要点と根拠箇所を確認してから全体をまとめる方法が使えます。ただし、分ければ必ず正確になるわけではありません。固有名詞や数値は元資料に戻って確かめてください。

よくある質問

1万トークンは日本語で何文字ですか?

固定の換算はできません。文章の内容、モデル、分け方で変わります。英語向けの「約4文字で1トークン」を日本語に当てはめず、対象モデルのカウント機能で実際の入力を確かめてください。

文脈の上限が大きければ、長い資料を全部正確に読めますか?

上限は扱える量についての仕様で、読解の正確さを保証する数字ではありません。長い資料では、章ごとに要点と参照箇所を求め、重要な箇所は原文と照合してください。

トークンが多いほど料金も高くなりますか?

APIでは入力と出力のトークン数が費用に関わります。ただし単価や計算方法はモデルや種類によって異なります。チャットアプリの月額プランとAPIの従量料金も同一ではありません。費用の判断には、使う製品の現在の料金案内を確認してください。

まずは入力に何を含めたか、回答にどれだけ余地があるか、結果が原文と合うかの三点を押さえると、トークン数を実用的に読めます。