レート制限と同時実行数
このプラットフォームでは、公平性と安定性を確保するために複数の制限が設けられています。いずれかの制限に達すると、429 rate_limit_exceededが返されます。
制限の種類
| 種類 | 説明 |
|---|---|
| レート (RPM) | 1分あたりのリクエスト数の上限 |
| スループット (TPM) | 1分あたりのトークン数の上限 |
| 同時実行数 | 処理中の同時リクエスト数の上限 |
| クォータ | キーごとの任意の月間利用上限 |
制限に達した場合
429 rate_limit_exceededを返します。retry-afterヘッダーには待機すべき時間が示されます。- 課金対象外:レート制限の対象となるリクエストには料金は発生しません。
事前予約
過剰な利用を防ぐため、プラットフォームは各リクエストの前に保守的な金額を予約し、その後実際の使用量に基づいて精算を行い、差額を解放します。予約額は最終的な残高ではありません。実際の使用量のみが課金対象となります。
推奨事項
- 指数関数的バックオフを実装し、
retry-afterを遵守してください。 - 同時実行数の多いワークロードについては、サポートに連絡して制限を引き上げてください。