Ratenbegrenzungen und Parallelität
Die Plattform wendet mehrere Begrenzungen an, um Fairness und Stabilität zu gewährleisten. Wird eine davon erreicht, wird 429 rate_limit_exceeded zurückgegeben.
Arten von Begrenzungen
| Art | Beschreibung |
|---|---|
| Rate (RPM) | Obergrenze für Anfragen pro Minute |
| Durchsatz (TPM) | Obergrenze für Token pro Minute |
| Parallelität | Obergrenze für gleichzeitig aktive Anfragen |
| Kontingent | Optionale monatliche Ausgabenobergrenze pro Schlüssel |
Erreichen einer Begrenzung
- Gibt
429 rate_limit_exceededzurück; derretry-after-Header gibt an, wie lange gewartet werden soll. - Keine Abrechnung: Für an die Rate begrenzte Anfragen fallen keine Kosten an.
Vorabautorisierung
Um überhöhte Ausgaben zu vermeiden, reserviert die Plattform vor jeder Anfrage vorsorglich einen Betrag, gleicht diesen anschließend mit der tatsächlichen Nutzung ab und gibt die Differenz wieder frei. Reservierungen stellen keinen endgültigen Saldo dar – es zählt nur die tatsächliche Nutzung.
Empfehlungen
- Implementieren Sie einen exponentiellen Backoff und beachten Sie
retry-after. - Wenden Sie sich an den Support, um die Limits für Workloads mit hoher Parallelität zu erhöhen.