Limites de débit et concurrence
La plateforme applique plusieurs limites afin de garantir l'équité et la stabilité. Le dépassement d'une de ces limites renvoie 429 rate_limit_exceeded.
Types de limites
| Type | Description |
|---|---|
| Taux (RPM) | Plafond de requêtes par minute |
| Débit (TPM) | Plafond de jetons par minute |
| Concurrence | Plafond de requêtes simultanées en cours |
| Quota | Plafond mensuel facultatif de dépenses par clé |
Atteindre une limite
- Renvoie
429 rate_limit_exceeded; l'en-têteretry-afterindique le temps d'attente. - Non facturé : les requêtes soumises à une limitation de débit ne sont pas facturées.
Préautorisation
Pour éviter tout dépassement de budget, la plateforme réserve de manière prudente un montant avant chaque requête, le déduit ensuite de l’utilisation réelle et libère la différence. Les réservations ne constituent pas le solde final : seule l’utilisation réelle est prise en compte.
Recommandations
- Mettez en place un recul exponentiel et respectez
retry-after. - Contactez le support pour augmenter les limites en cas de charges de travail à forte concurrence.