レート制限と同時実行数

このプラットフォームでは、公平性と安定性を確保するために複数の制限が設けられています。いずれかの制限に達すると、429 rate_limit_exceededが返されます。

制限の種類

種類 説明
レート (RPM) 1分あたりのリクエスト数の上限
スループット (TPM) 1分あたりのトークン数の上限
同時実行数 処理中の同時リクエスト数の上限
クォータ キーごとの任意の月間利用上限

制限に達した場合

  • 429 rate_limit_exceeded を返します。retry-after ヘッダーには待機すべき時間が示されます。
  • 課金対象外:レート制限の対象となるリクエストには料金は発生しません。

事前予約

過剰な利用を防ぐため、プラットフォームは各リクエストの前に保守的な金額を予約し、その後実際の使用量に基づいて精算を行い、差額を解放します。予約額は最終的な残高ではありません。実際の使用量のみが課金対象となります。

推奨事項

  • 指数関数的バックオフを実装し、retry-afterを遵守してください。
  • 同時実行数の多いワークロードについては、サポートに連絡して制限を引き上げてください。