요청 제한 및 동시 접속
이 플랫폼은 공정성과 안정성을 위해 여러 가지 제한을 적용합니다. 제한에 도달하면 429 rate_limit_exceeded이 반환됩니다.
제한 유형
| 유형 | 설명 |
|---|---|
| 속도 (RPM) | 분당 요청 수 상한 |
| 처리량 (TPM) | 분당 토큰 상한 |
| 동시 처리량 | 동시 처리 중인 요청 상한 |
| 할당량 | 키별 선택적 월간 지출 상한 |
제한에 도달한 경우
429 rate_limit_exceeded을 반환하며,retry-after헤더에는 대기해야 할 시간이 표시됩니다.- 요금 부과 없음: 속도 제한이 적용된 요청에는 요금이 부과되지 않습니다.
사전 승인
과다 지출을 방지하기 위해 플랫폼은 각 요청 전에 보수적으로 금액을 예약하고, 이후 실제 사용량에 따라 정산한 뒤 차액을 해제합니다. 예약 금액은 최종 잔액이 아니며, 실제 사용량만 계산됩니다.
권장 사항
- 지수적 백오프(exponential backoff)를 구현하고
retry-after를 준수하십시오. - 동시 접속량이 많은 워크로드의 경우, 한도 상향을 위해 지원팀에 문의하십시오.