레이트 리밋 정리: 고정 창, 슬라이딩 창, 토큰 버킷
들어가며
외부 API 를 반복문으로 호출하다 보면 어느 순간 응답이 전부 429 Too Many Requests 로 바뀌는 경우가 있습니다. 서버가 고장 난 것이 아니라, 정해 둔 속도보다 빠르게 요청을 보냈다는 신호입니다.
이번 글에서는 서버가 요청 수를 세는 대표적인 방식인 고정 창, 슬라이딩 창, 토큰 버킷을 비교합니다. 서버가 여러 대일 때 카운터를 어디에 둘지, 한도를 넘은 요청에 무엇을 돌려줄지도 함께 정리합니다.
1. 레이트 리밋이란
레이트 리밋(rate limiting) 은 정해진 시간 동안 한 클라이언트가 보낼 수 있는 요청 수를 제한하는 장치입니다. "API 키 하나당 1초에 5회"처럼 누구를 기준으로, 얼마의 시간 동안, 몇 번까지를 정합니다.
목적은 두 가지입니다. 하나는 한 클라이언트의 폭주가 서버 전체를 느리게 만들지 않도록 서버를 보호하는 것이고, 다른 하나는 여러 사용자에게 자원을 공정하게 나누는 것입니다. 로그인 시도 횟수를 막아 무차별 대입 공격을 늦추는 용도로도 씁니다.
한도를 넘은 요청은 보통 처리하지 않고 HTTP 상태 코드 429 로 거절합니다. 이 글의 예시는 모두 "1초에 5회"를 한도로 둡니다. 실제 서비스에서는 분이나 시간 단위 한도가 더 흔하지만, 동작 원리는 같습니다.
2. 고정 창과 슬라이딩 창
가장 단순한 방식은 고정 창(fixed window) 입니다. 시간을 01초, 12초처럼 일정한 구간으로 잘라 두고, 구간마다 카운터 하나로 요청 수를 셉니다. 구간이 바뀌면 카운터를 0 으로 되돌립니다.
카운터 하나만 있으면 되니 저장 공간도 적고 구현도 쉽습니다. 문제는 구간의 경계입니다. 0.81.0초에 5회, 1.01.2초에 5회를 보내면 각 구간은 한도를 지켰지만, 0.4초 사이에 10회가 통과합니다.
고정 창은 자정에 초기화되는 하루 한도라서, 자정 직전과 직후에 두 번 다 쓸 수 있습니다.
두 구간 모두 한도 안이지만 0.4초 사이에 10회가 통과합니다.
어느 1초를 잘라도 5회 이하입니다. 앞선 요청이 창 밖으로 빠지면 다시 받습니다.
슬라이딩 창(sliding window) 은 이 경계 문제를 없앱니다. 미리 잘라 둔 구간 대신 "지금부터 거슬러 올라간 1초"를 기준으로 셉니다. 어느 시점에서 1초를 잘라도 5회를 넘지 않으므로, 위 그림처럼 1.0초 이후의 요청은 거절되고 앞선 요청들이 창 밖으로 빠지는 1.8초 무렵부터 다시 허용됩니다.
구현은 두 갈래가 있습니다.
- 슬라이딩 로그: 요청 시각을 모두 저장하고, 1초가 지난 기록을 지우며 개수를 셉니다. 정확하지만 한도만큼 시각을 들고 있어야 합니다.
- 슬라이딩 카운터: 직전 구간과 현재 구간의 카운터 두 개만 두고, 직전 구간 값에 겹치는 비율을 곱해 더합니다. 근삿값이지만 저장 공간이 고정 창과 거의 같습니다.
3. 토큰 버킷
토큰 버킷(token bucket) 은 횟수를 세는 대신 "쓸 수 있는 토큰"을 관리합니다. 버킷에는 일정한 속도로 토큰이 채워지고, 요청 하나가 토큰 하나를 씁니다. 토큰이 없으면 요청을 거절합니다.
버킷 크기가 5 이고 0.2초마다 토큰 하나가 찬다면, 평균 속도는 1초에 5회입니다. 다만 토큰이 가득 차 있는 동안에는 5회를 한꺼번에 보낼 수 있습니다. 이렇게 순간 몰림(burst)을 버킷 크기만큼 허용하면서 평균 속도를 지키는 것이 이 방식의 특징입니다.
토큰 버킷은 놀이공원 이용권 다섯 장을 쥐고 있다가, 다 쓰면 새 표가 나올 때까지 기다리는 방식입니다.
쉬는 동안 토큰이 버킷 크기까지 찹니다.
한꺼번에 5회를 보내면 바로 바닥나고, 다음 요청은 거절됩니다.
흐른 시간만큼 토큰을 한 번에 더해 계산합니다.
토큰을 실제로 0.2초마다 넣는 타이머는 필요 없습니다. 요청이 들어올 때 마지막으로 계산한 시각부터 흐른 시간만큼 토큰을 한 번에 더하면 됩니다.
import time
class TokenBucket:
def __init__(self, capacity=5, rate=5.0):
self.capacity = capacity # 버킷 크기: 한 번에 몰려도 되는 요청 수
self.rate = rate # 초당 채워지는 토큰 수
self.tokens = capacity
self.updated = time.monotonic()
def allow(self):
now = time.monotonic()
elapsed = now - self.updated
self.tokens = min(self.capacity, self.tokens + elapsed * self.rate)
self.updated = now
if self.tokens >= 1:
self.tokens -= 1
return True
return False버킷 크기와 채우는 속도를 따로 정할 수 있다는 점이 장점입니다. 평소에는 여유 있게 몰림을 받아 주고, 오래 계속되는 과부하만 막고 싶을 때 잘 맞습니다.
4. 서버가 여러 대일 때: 카운터는 공유 저장소에
지금까지의 카운터는 서버 프로세스 메모리 안에 있었습니다. 로드밸런서 뒤에 서버가 두 대 있고 각자 따로 센다면, 한 클라이언트는 실제로 한도의 두 배까지 보낼 수 있습니다. 서버를 늘릴수록 한도도 같이 늘어나는 셈입니다.
그래서 보통은 모든 서버가 같은 카운터를 보도록 Redis 같은 공유 저장소에 둡니다.
매표소가 두 곳이어도 명단은 한 권이어야 한 사람이 두 번 입장하지 못합니다.
Redis 의 INCR 은 원자적으로 값을 1 올리고 결과를 돌려주므로, 여러 서버가 동시에 올려도 수가 틀리지 않습니다. 아래는 1초 고정 창을 Redis 로 구현한 예시입니다.
import time
import redis
r = redis.Redis()
LIMIT, WINDOW = 5, 1 # 1초에 5회
def allow(client_id: str) -> bool:
window = int(time.time()) // WINDOW
key = f"rl:{client_id}:{window}"
pipe = r.pipeline() # MULTI/EXEC 로 묶어 한 번에 실행
pipe.incr(key)
pipe.expire(key, WINDOW * 2) # 지난 구간의 키는 저절로 사라지게
count, _ = pipe.execute()
return count <= LIMITINCR 과 만료 설정을 따로 보내면, 그 사이에 서버가 죽었을 때 만료 없는 키가 남을 수 있습니다. 위처럼 트랜잭션으로 묶거나 Lua 스크립트로 한 번에 실행하는 것이 안전합니다. 슬라이딩 창이나 토큰 버킷도 같은 이유로 Lua 스크립트로 구현하는 경우가 많습니다.
API 게이트웨이나 리버스 프록시에서 한도를 거는 방법도 있습니다. 애플리케이션 코드를 건드리지 않고 한곳에서 관리할 수 있다는 장점이 있습니다.
5. 한도를 넘었을 때: 429 와 Retry-After
거절할 때는 이유와 다음 시도 시점을 함께 알려 주는 것이 좋습니다. 상태 코드는 429 Too Many Requests 를 쓰고, 언제 다시 보내면 되는지는 Retry-After 헤더에 담습니다. Retry-After 는 초 단위 숫자나 HTTP 날짜 형식으로 줄 수 있습니다.
HTTP/1.1 429 Too Many Requests
Retry-After: 1
Content-Type: application/json
{"error": "rate_limited", "message": "요청 한도를 넘었습니다. 1초 뒤 다시 시도해 주세요."}식당이 꽉 찼을 때 그냥 돌려보내기보다 몇 분 뒤에 오시라고 알려 주는 편이 손님도 덜 헤맵니다.
클라이언트는 429 를 받으면 바로 다시 보내지 말고 Retry-After 만큼 기다립니다. 헤더가 없으면 지수 백오프로 간격을 늘리고, 여러 클라이언트가 같은 순간에 몰리지 않도록 무작위 지연(지터)을 더합니다.
import random
import time
import httpx
def call(url, tries=5):
for n in range(tries):
r = httpx.get(url)
if r.status_code != 429:
return r
wait = r.headers.get("Retry-After") # 초 단위로 온다고 가정
delay = float(wait) if wait else 2 ** n
time.sleep(delay + random.random())
r.raise_for_status() # 끝내 429 면 예외남은 횟수를 미리 알려 주고 싶다면 X-RateLimit-Remaining 같은 헤더를 관례로 많이 씁니다. 표준 헤더(RateLimit)는 IETF 에서 아직 초안 단계라, 서비스마다 이름과 형식이 조금씩 다릅니다.
한눈에 비교
| 고정 창 | 슬라이딩 로그 | 슬라이딩 카운터 | 토큰 버킷 | |
|---|---|---|---|---|
| 저장하는 것 | 카운터 1개 | 요청 시각 전부 | 카운터 2개 | 토큰 수, 마지막 시각 |
| 경계 몰림 | 최대 2배까지 | 없음 | 거의 없음(근삿값) | 버킷 크기만큼 허용 |
| 구현 난이도 | 가장 쉬움 | 쉬움 | 보통 | 보통 |
| 어울리는 곳 | 대략적 제한 | 정확도가 중요한 낮은 한도 | 대부분의 API | 몰림을 받아 줘야 할 때 |
헷갈리기 쉬운 점
- 429 를 받으면 바로 다시 보내면 된다는 오해. 즉시 재시도는 한도를 더 빨리 소진합니다.
Retry-After를 따르고, 없으면 지수 백오프와 지터로 간격을 벌립니다. - 429 와 503 은 다릅니다. 429 는 "이 클라이언트가" 한도를 넘었다는 뜻이고, 503 은 서버가 과부하나 점검으로 지금 아무 요청도 처리하기 어렵다는 뜻입니다. 둘 다
Retry-After를 붙일 수 있습니다. - 토큰 버킷과 리키 버킷(leaky bucket)은 다릅니다. 토큰 버킷은 몰림을 버킷 크기만큼 통과시키지만, 큐 형태의 리키 버킷은 요청을 쌓아 두고 일정한 속도로만 내보내 출력을 평평하게 만듭니다.
면접에서 자주 받는 질문
서버가 여러 대면 카운터는 어디에 두나요?
서버마다 따로 세면 한도가 서버 수만큼 늘어납니다. 보통 Redis 같은 공유 저장소에 클라이언트별 키를 두고 INCR 과 만료로 셉니다. 증가와 만료 설정은 트랜잭션이나 Lua 스크립트로 묶어 원자적으로 처리합니다. API 게이트웨이 한곳에서 거는 방법도 있습니다.
고정 창 대신 토큰 버킷을 고르는 이유는요?
고정 창은 구간 경계에서 한도의 두 배까지 몰릴 수 있습니다. 토큰 버킷은 평균 속도를 지키면서, 몰림을 버킷 크기까지만 의도적으로 허용합니다. 평균 속도와 허용할 몰림을 따로 조절할 수 있다는 점이 차이입니다.
429 와 503 은 어떻게 다르게 쓰나요?
429 는 특정 클라이언트가 정해진 한도를 넘었을 때, 503 은 서버 자체가 과부하나 점검으로 요청을 받을 수 없을 때 씁니다. 두 응답 모두 Retry-After 로 다시 시도할 시점을 알려 줄 수 있습니다.
한도는 무엇을 기준으로 거나요?
로그인한 API 라면 사용자나 API 키 기준이 가장 정확합니다. 로그인 전 요청은 IP 기준으로 걸지만, 같은 IP 를 여러 사람이 함께 쓰는 환경에서는 정상 사용자까지 막힐 수 있어 한도를 넉넉히 잡습니다.
정리
- 고정 창은 카운터 하나로 싸게 세지만, 구간 경계에서 한도의 두 배까지 몰릴 수 있습니다.
- 슬라이딩 창은 경계 몰림을 없애고, 토큰 버킷은 평균 속도를 지키며 버킷 크기만큼 몰림을 허용합니다.
- 서버가 여러 대면 카운터를 공유 저장소에 두고 원자적으로 셉니다.
넘친 요청에는 429 를, 언제 다시 올지는 Retry-After 로 알려 주는 것까지가 레이트 리밋의 완성입니다.