요청 제한 및 동시 접속

이 플랫폼은 공정성과 안정성을 위해 여러 가지 제한을 적용합니다. 제한에 도달하면 429 rate_limit_exceeded이 반환됩니다.

제한 유형

유형 설명
속도 (RPM) 분당 요청 수 상한
처리량 (TPM) 분당 토큰 상한
동시 처리량 동시 처리 중인 요청 상한
할당량 키별 선택적 월간 지출 상한

제한에 도달한 경우

  • 429 rate_limit_exceeded을 반환하며, retry-after 헤더에는 대기해야 할 시간이 표시됩니다.
  • 요금 부과 없음: 속도 제한이 적용된 요청에는 요금이 부과되지 않습니다.

사전 승인

과다 지출을 방지하기 위해 플랫폼은 각 요청 전에 보수적으로 금액을 예약하고, 이후 실제 사용량에 따라 정산한 뒤 차액을 해제합니다. 예약 금액은 최종 잔액이 아니며, 실제 사용량만 계산됩니다.

권장 사항

  • 지수적 백오프(exponential backoff)를 구현하고 retry-after를 준수하십시오.
  • 동시 접속량이 많은 워크로드의 경우, 한도 상향을 위해 지원팀에 문의하십시오.