Límites de frecuencia y concurrencia
La plataforma aplica múltiples límites para garantizar la equidad y la estabilidad. Si se alcanza uno de ellos, se devuelve 429 rate_limit_exceeded.
Tipos de límites
| Tipo | Descripción |
|---|---|
| Frecuencia (RPM) | Límite de solicitudes por minuto |
| Rendimiento (TPM) | Límite de tokens por minuto |
| Concurrencia | Límite de solicitudes simultáneas en curso |
| Cuota | Límite opcional de gasto mensual por clave |
Al alcanzar un límite
- Devuelve
429 rate_limit_exceeded; el encabezadoretry-afterindica cuánto tiempo hay que esperar. - No se factura: las solicitudes sujetas a limitación de tasa no conllevan ningún cargo.
Preautorización
Para evitar un gasto excesivo, la plataforma reserva de forma conservadora un importe antes de cada solicitud, lo compensa posteriormente con el uso real y libera la diferencia. Las reservas no constituyen el saldo final; solo cuenta el uso real.
Recomendaciones
- Implementa un retroceso exponencial y respeta
retry-after. - Ponte en contacto con el servicio de asistencia para aumentar los límites en caso de cargas de trabajo con alta concurrencia.