AIトークンカウンター — 無料オンラインツール

AIトークンとは？

トークンは、大規模言語モデル（LLM）が処理する基本的な構成要素です。人間が単語単位で読むのとは異なり、AIモデルはByte Pair Encoding（BPE）トークナイゼーションによって生成されるサブワード単位であるトークンで動作します。英語では、1トークンは約4文字または0.75単語に相当します。「the」「is」「a」のような一般的な短い単語はそれぞれ1トークンですが、「tokenization」のような長い単語は2〜3トークンに分割される場合があります。コードは散文とは異なるトークン化が行われ、特殊文字、括弧、演算子はそれぞれトークンを消費します。

トークン数を理解することは、AI APIを使って開発するすべての開発者にとって不可欠です。システムプロンプトの作成、RAGパイプラインの構築、ドキュメントの分析など、事前にトークン数を把握することで、予期しないコストやコンテキストウィンドウのオーバーフローエラーを防ぐことができます。

開発者にとってトークン数が重要な理由

• コンテキストウィンドウの制限：すべてのAIモデルには、1回のリクエストで処理できるトークン数（プロンプト＋応答の合計）にハードリミットがあります。GPT-5.3は100万トークン以上、Claude Opus 4.6は200K、Gemini 2.5 Proは100万トークン以上を処理できます。制限を超えるとエラーやサイレントな切り捨てが発生します。
• APIコスト管理：主要なAIプロバイダーはすべて、入力（プロンプト）とモデルの出力（応答）の両方のトークンに対して課金します。プロンプトが2倍長くなると、処理コストも2倍になります。APIを呼び出す前にトークン数を把握することで、請求額の急増を防げます。
• 応答品質：コンテキスト制限に近い状態で動作するモデルは、大きな入力全体にわたって一貫性を維持するのに苦労し、品質の低い出力を生成する傾向があります。プロンプトをコンテキストウィンドウ内に十分収めることで、一般的に結果が改善されます。
• レイテンシの最適化：トークン数が多いほど、最初のトークンまでのレイテンシが遅くなります。リアルタイムアプリケーションやストリーミングのユースケースでは、プロンプトのトークン数を最小限に抑えることが、最初のトークンまでの時間を直接短縮します。

AIモデルのコンテキストウィンドウ比較（2026年）

• GPT-5.3（OpenAI）：1,047,576トークン — OpenAIの最も高度なモデル、優れた推論とコード生成能力
• GPT-4.1 / 4.1 mini / 4.1 nano（OpenAI）：1,047,576トークン — コードベース全体、長文ドキュメント、複雑なマルチターン会話に対応する大規模コンテキストウィンドウ
• GPT-4o / 4o mini（OpenAI）：128,000トークン — 前世代、依然として広く使用
• o3 / o4-mini（OpenAI）：200,000トークン — 数学、コード、複雑なロジックに最適化された推論モデル
• Claude Opus 4.6（Anthropic）：200,000トークン — 複雑な分析とエージェントコーディングに最も優れたAnthropicのモデル
• Claude Sonnet 4（Anthropic）：200,000トークン — 速度、コスト、知能の最適なバランス
• Claude Haiku 3.5（Anthropic）：200,000トークン — 高速かつ手頃な価格で大きなコンテキストに対応
• Gemini 2.5 Pro / Flash（Google）：1,048,576トークン — コードベース全体、書籍、動画に対応する100万トークン以上
• Gemini 2.0 Flash（Google）：1,000,000トークン — 前世代、マルチモーダル対応
• Llama 4 Maverick（Meta）：1,048,576トークン — 100万トークン以上のコンテキストを持つオープンソース、セルフホスト可能
• DeepSeek V3 / R1（DeepSeek）：128,000トークン — 非常にコスト効率の高いフロンティアモデル
• Grok 3 / 3 mini（xAI）：131,072トークン — 競争力のある価格設定で強力な推論能力

トークン使用量とAPIコストを削減するヒント

• シンプルなタスクには小さなモデルを使用：GPT-4o miniはGPT-4oより94%安価で、単純なタスクでは同等の性能を発揮します
• システムプロンプトを圧縮：システムプロンプトは会話のすべてのリクエストで送信されます。節約したトークンはすべてのターンで掛け算されます
• プロンプトキャッシュを活用：AnthropicとOpenAIはプレフィックスキャッシュを提供しており、繰り返されるプロンプトプレフィックスは通常料金の約10%で課金されます
• 大きなドキュメントをチャンク分割：ドキュメント全体を送信する代わりに、ベクトル検索やキーワードフィルタリングで関連セクションを先に抽出します
• コードコメントを削除：コメントはほとんどのAIタスクにおいて意味的な価値を追加せずにトークンを増やします
• XMLよりJSONを優先：構造化データのペイロードにおいて、JSONはXMLよりも大幅にトークン効率が高いです

トークン化の仕組み

最新のAIモデルは、人間のようにテキストを読むわけではありません。代わりに、バイトペアエンコーディング（BPE）というプロセスを使い、テキストをサブワード単位（トークン）に分割します。トークナイザーは個々の文字から始め、最も頻出する隣接ペアを反復的にマージし、通常50,000〜100,000トークンの語彙を構築します。

例えば、英語の「unhappiness」は un + happiness（2トークン）に分割されますが、珍しい単語「defenestration」は def + en + est + ration（4トークン）に分割される可能性があります。長くて珍しい単語ほどトークン数が多くなる理由です。

言語間のトークン化の違い

BPEトークナイザーは主に英語テキストで訓練されているため、非ラテン文字のスクリプトはトークン効率が大幅に低下します：

• 英語：約4文字あたり1トークン（最も効率的）
• スペイン語/フランス語/ドイツ語：約3.5文字あたり1トークン（アクセント文字が分割される場合あり）
• 中国語/日本語/韓国語：1文字あたり約1.5〜2トークン（各文字が独自のトークンになることが多い）
• アラビア語/ヒンディー語：1文字あたり約2〜3トークン（複雑な文字体系はトークン化効率が低い）
• コード：大きく異なる — Pythonは括弧やセミコロンが少ないため、Javaより約20%トークン効率が高い

つまり、日本語のプロンプトは同じ内容の英語と比べて約3倍のトークンがかかります。多言語アプリケーションを構築する際は、ユーザー向けプロンプトは翻訳しつつ、システムプロンプトは英語のまま維持することでコストを削減できます。

本番システムでのトークンカウント

本番アプリケーションでは、正確なトークンカウントがいくつかのワークフローで重要です：

• リクエスト予算管理：APIを呼び出す前に、合計トークン数（システムプロンプト＋会話履歴＋ユーザーメッセージ＋予想出力）を計算し、モデルのコンテキストウィンドウ内に収まることを確認します
• コスト監視：ユーザーごと、機能ごと、リクエストごとにトークン使用量を追跡し、コストのホットスポットを特定して高コストなプロンプトを最適化します
• 会話の切り詰め：チャット履歴がコンテキストウィンドウを超えた場合、システムプロンプトと最近のコンテキストを保持しながら、古いメッセージをインテリジェントに削除します
• レート制限：ほとんどのAI APIは分あたりのトークン数（TPM）制限を適用します。事前にトークン数を把握することで、適切なレート制限とリクエストキューイングを実装できます

AIトークンカウントに関するよくある質問

AIの言語モデルにおけるトークンとは何ですか？

トークンとは、AIモデルが処理するテキストの基本単位です。トークンはByte Pair Encoding（BPE）によって生成され、テキストを頻出する文字列に分割します。英語では、1トークンは約4文字または0.75単語に相当します。「developer」という単語は「develop」+「er」（2トークン）にトークン化される可能性がありますが、「the」は常に1トークンです。数字、句読点、空白もトークンを消費します。

このAIトークンカウンターの精度はどのくらいですか？

このツールは標準的なOpenAI tiktokenの近似値を使用しています：英語およびラテン文字テキストでは4文字につき1トークン、CJK（中国語、日本語、韓国語）文字では約1.5トークンです。結果は通常、公式トークナイザー出力の5〜15%以内の精度です。本番システムでの正確なカウントには、tiktoken Pythonライブラリまたは OpenAI Tokenizer Playgroundをご利用ください。

AIモデルによってトークンのカウント方法は異なりますか？

はい — GPTモデルはOpenAIのtiktokenを使用し、ClaudeはAnthropicのカスタムBPEトークナイザーを使用し、GeminiはGoogleのSentencePieceを使用します。同じ英語テキストに対して、すべてのトークンカウントは互いに約10%の範囲内に収まります。このツールはすべてのモデルに単一の近似式を適用しており、予算編成やコンテキストウィンドウの計画には十分な精度です。

入力トークンと出力トークンの違いは何ですか？

入力トークン（プロンプトトークン）は、モデルに送信するもの（指示、コンテキスト、データ）です。出力トークン（完了トークン）は、モデルの応答です。ほとんどのプロバイダーは、入力トークンよりも出力トークンに3〜5倍の料金を請求します。このツールは入力コストのみを見積もります。総コストについては、選択したモデルの出力レートに予想される出力の長さ（トークン単位）を掛けてください。

関連する開発者ツール

• .ENVファイルインスペクター＆シークレットスキャナー — .envファイルの検証と公開されたシークレットの検出
• JWTデコーダー＆インスペクター — JSON Web Tokenを即座にデコード
• CORSエラーデバッガー — Express、Nginx、Apache用の修正コードを取得
• すべての無料開発者ツールを見る