Universal Token Counter (UTC)

概要

Universal Token Counter (UTC) は、LLM ワークフロー向けに設計された 高精度・多言語対応トークンカウンタ API です。

OpenAI 互換のエンコーディング（例：o200k_base / cl100k_base）に対応し、 モデルごとのトークン数・文字数・密度 を統一フォーマットの JSON で返却します。

• OpenAI 互換エンコーディング（gpt-4o 系など）に対応
• 日本語を含む多言語テキスト前提の設計
• シンプルな REST API / FastAPI 実装
• result + meta の 2 階層レスポンス構造（UTC Spec v0.1）

RapidAPI での利用

UTC は RapidAPI 上からも利用できます。

• ブラウザ上での即時テスト
• API キー管理・レート制限の可視化
• 無料プラン（Free Tier）あり
• cURL / JS / Python 用コードスニペットを自動生成

🔗 RapidAPI Hub: https://rapidapi.com/APIronlab/api/universal-token-counter-utc

エンドポイント

POST /utc/v0/token-count

リクエスト例：

{
  "model": "gpt-4o",
  "text": "これはテストです"
}

レスポンス例：

{
  "result": {
    "model": "gpt-4o",
    "encoding": "o200k_base",
    "char_count": 8,
    "token_count": 5,
    "token_per_char": 0.625
  },
  "meta": {
    "input_language": "ja",
    "input_size_bytes": 17,
    "token_density": 0.294,
    "model_family": "openai",
    "processing_time_ms": 3.24,
    "utc_timestamp": "2025-01-01T00:00:00Z",
    "version": "0.1.0"
  }
}

対応モデル（例）

実際の対応モデル一覧は GitHub リポジトリまたは RapidAPI 上のドキュメントを参照してください。

ユースケース

• LLM 推論コストの見積もり・管理
• ログ集計時のトークン使用量トラッキング
• トークン上限に対するプロンプト長制御
• 複数モデル間の「トークン効率」比較

クイックスタート – Python 例

import requests

payload = {
    "model": "gpt-4o",
    "text": "これはテストです",
}

res = requests.post(
    "https://your-endpoint/utc/v0/token-count",  # RapidAPI / API Gateway など
    json=payload,
)
print(res.json())

リンク

• GitHub: https://github.com/APIron-lab/Universal-Token-Counter
• RapidAPI: https://rapidapi.com/APIronlab/api/universal-token-counter-utc