속도 제한
분당 요청 수와 토큰 수 한도, 한도 초과 시 동작입니다.
속도 제한은 특정 클라이언트의 과도한 요청이 다른 사용자에게 영향을 주지 않도록 합니다. 한도는 조직 단위로 적용되며, 조직은 워크스페이스별로 더 낮은 한도를 설정할 수 있습니다. 현재 한도는 콘솔의 용량 화면에서 확인할 수 있습니다.
제한 항목
각 한도는 1분 단위로 집계하며, 제한 항목은 다음과 같습니다.
| 항목 | 집계 대상 |
|---|---|
| 분당 요청 수(RPM) | 수신한 요청 수 |
| 분당 입력 토큰 수 | 모델에 전달한 입력 토큰 |
| 분당 출력 토큰 수 | 모델이 생성한 출력 토큰 (추론 토큰 포함) |
Raon은 요청을 받으면 모델이 답변을 생성하기 전에 한도를 확인합니다. 입력 토큰 수는 요청 크기를 기준으로 추정합니다. 출력 토큰 수는 요청에 지정한 최대값(max_tokens, max_completion_tokens, max_output_tokens)만큼 한도에서 미리 차감합니다. 이를 토큰 예약이라고 하며, 요청에 최대값을 지정하지 않으면 기본값을 사용합니다.
모델 서버에서 사용량을 받으면 예약한 토큰 수를 실제 사용량에 맞게 조정합니다. 이때 캐시에서 읽은 토큰은 입력 토큰 한도 계산에서 제외합니다.
사용량을 받지 못한 경우에는 요청 처리 결과에 따라 예약을 유지하거나 해제합니다. 정상적으로 완료된 요청은 예약한 토큰 수를 그대로 유지합니다. 스트림이 중단되면 출력 토큰 예약만 해제하고 입력 토큰 예약은 유지합니다.
토큰 예약을 조정해도 분당 요청 수(RPM) 집계에서 해당 요청을 제외하지는 않습니다.
max_tokens를 필요 이상으로 크게 지정하면 사용하지 않을 출력 토큰까지 예약되어 출력 한도에 일찍 도달할 수 있습니다. 예상되는 최대 답변 길이에 추론 분량을 더한 정도로 설정하세요.
응답 헤더
RPM 한도가 적용된 경우 성공한 응답과 rate_limit_exceeded 오류에 다음 헤더가 포함됩니다. 인증 오류와 overloaded 오류에는 포함되지 않습니다.
| 헤더 | 설명 |
|---|---|
x-ratelimit-limit-requests | 1분당 허용 요청 수 |
x-ratelimit-remaining-requests | 현재 1분 구간에 남은 요청 수 |
x-ratelimit-reset-requests | 현재 구간이 초기화되는 시각 (Unix 타임스탬프, 초 단위) |
한도를 초과한 경우
| 상태 코드 | code | 설명 |
|---|---|---|
| 429 | rate_limit_exceeded | 분당 한도 초과. retry-after에 현재 구간이 끝날 때까지 남은 시간(초) 포함 |
| 429 | overloaded | 서비스 과부하. 잠시 후 재시도 (retry-after는 보통 2초) |
| 400 | token_limit_exceeded | 단일 요청 크기가 분당 토큰 한도 초과. 재시도로 해결되지 않으므로 입력 또는 max_tokens 축소 필요 |
| 402 | insufficient_credit | 조직의 크레딧 부족 |
| 402 | spend_limit_exceeded | 조직 또는 워크스페이스의 월 지출 한도 도달 |
Messages API에서는 게이트웨이가 생성한 위 오류를 code 필드 없이 반환하며, type 필드로 오류를 구분합니다(rate_limit_error 또는 invalid_request_error). 모델 서버에서 발생한 입력 검증 오류는 다른 오류 형식으로 전달될 수 있습니다.
이번 프리뷰의 모델 이용 요금은 0원이지만 토큰 한도는 적용됩니다. 이용 요금과는 별도로 조직의 크레딧과 지출 한도를 확인하는 정책도 적용됩니다. HTTP 402 오류가 발생하면 프리뷰 운영자에게 문의하세요. 테스터는 지출 설정 화면에 접근할 수 없습니다.
재시도
429 오류가 발생하면 retry-after에 지정된 시간만큼 기다린 후 재시도하고, 실패할 때마다 대기 시간을 늘리세요(지수 백오프). OpenAI SDK와 Anthropic SDK는 이 방식을 기본으로 지원하며, retry-after에 따라 최대 2회 재시도합니다. 요청을 대량으로 보낸다면 재시도 횟수를 늘리세요.
client = OpenAI(
base_url="https://raon-api.krafton.ai/v1",
api_key=os.environ["RAON_API_KEY"],
max_retries=5,
)재시도에 의존하지 않고 한도 내에서 사용하려면 동시에 실행하는 요청 수를 제한하세요.