시스템 설계
장애 대응
레이트 리밋 정리: 고정 창, 슬라이딩 창, 토큰 버킷

레이트 리밋 정리: 고정 창, 슬라이딩 창, 토큰 버킷

들어가며

외부 API 를 반복문으로 호출하다 보면 어느 순간 응답이 전부 429 Too Many Requests 로 바뀌는 경우가 있습니다. 서버가 고장 난 것이 아니라, 정해 둔 속도보다 빠르게 요청을 보냈다는 신호입니다.

이번 글에서는 서버가 요청 수를 세는 대표적인 방식인 고정 창, 슬라이딩 창, 토큰 버킷을 비교합니다. 서버가 여러 대일 때 카운터를 어디에 둘지, 한도를 넘은 요청에 무엇을 돌려줄지도 함께 정리합니다.


1. 레이트 리밋이란

레이트 리밋(rate limiting) 은 정해진 시간 동안 한 클라이언트가 보낼 수 있는 요청 수를 제한하는 장치입니다. "API 키 하나당 1초에 5회"처럼 누구를 기준으로, 얼마의 시간 동안, 몇 번까지를 정합니다.

목적은 두 가지입니다. 하나는 한 클라이언트의 폭주가 서버 전체를 느리게 만들지 않도록 서버를 보호하는 것이고, 다른 하나는 여러 사용자에게 자원을 공정하게 나누는 것입니다. 로그인 시도 횟수를 막아 무차별 대입 공격을 늦추는 용도로도 씁니다.

한도를 넘은 요청은 보통 처리하지 않고 HTTP 상태 코드 429 로 거절합니다. 이 글의 예시는 모두 "1초에 5회"를 한도로 둡니다. 실제 서비스에서는 분이나 시간 단위 한도가 더 흔하지만, 동작 원리는 같습니다.

2. 고정 창과 슬라이딩 창

가장 단순한 방식은 고정 창(fixed window) 입니다. 시간을 01초, 12초처럼 일정한 구간으로 잘라 두고, 구간마다 카운터 하나로 요청 수를 셉니다. 구간이 바뀌면 카운터를 0 으로 되돌립니다.

카운터 하나만 있으면 되니 저장 공간도 적고 구현도 쉽습니다. 문제는 구간의 경계입니다. 0.81.0초에 5회, 1.01.2초에 5회를 보내면 각 구간은 한도를 지켰지만, 0.4초 사이에 10회가 통과합니다.

고정 창은 자정에 초기화되는 하루 한도라서, 자정 직전과 직후에 두 번 다 쓸 수 있습니다.

고정 창경계 몰림
구간구간1구간2요청5회5회00.511.52초

두 구간 모두 한도 안이지만 0.4초 사이에 10회가 통과합니다.

슬라이딩 창고르게 막음
창최근 1초요청5회429다시 허용00.511.52초

어느 1초를 잘라도 5회 이하입니다. 앞선 요청이 창 밖으로 빠지면 다시 받습니다.

한도는 1초에 5회, 시간은 어림입니다. 고정 창은 카운터 하나로 싸지만 경계를 끼면 0.4초에 10회가 통과하고, 슬라이딩 창은 고르게 막는 대신 더 많은 상태를 저장합니다.

슬라이딩 창(sliding window) 은 이 경계 문제를 없앱니다. 미리 잘라 둔 구간 대신 "지금부터 거슬러 올라간 1초"를 기준으로 셉니다. 어느 시점에서 1초를 잘라도 5회를 넘지 않으므로, 위 그림처럼 1.0초 이후의 요청은 거절되고 앞선 요청들이 창 밖으로 빠지는 1.8초 무렵부터 다시 허용됩니다.

구현은 두 갈래가 있습니다.

  • 슬라이딩 로그: 요청 시각을 모두 저장하고, 1초가 지난 기록을 지우며 개수를 셉니다. 정확하지만 한도만큼 시각을 들고 있어야 합니다.
  • 슬라이딩 카운터: 직전 구간과 현재 구간의 카운터 두 개만 두고, 직전 구간 값에 겹치는 비율을 곱해 더합니다. 근삿값이지만 저장 공간이 고정 창과 거의 같습니다.

3. 토큰 버킷

토큰 버킷(token bucket) 은 횟수를 세는 대신 "쓸 수 있는 토큰"을 관리합니다. 버킷에는 일정한 속도로 토큰이 채워지고, 요청 하나가 토큰 하나를 씁니다. 토큰이 없으면 요청을 거절합니다.

버킷 크기가 5 이고 0.2초마다 토큰 하나가 찬다면, 평균 속도는 1초에 5회입니다. 다만 토큰이 가득 차 있는 동안에는 5회를 한꺼번에 보낼 수 있습니다. 이렇게 순간 몰림(burst)을 버킷 크기만큼 허용하면서 평균 속도를 지키는 것이 이 방식의 특징입니다.

토큰 버킷은 놀이공원 이용권 다섯 장을 쥐고 있다가, 다 쓰면 새 표가 나올 때까지 기다리는 방식입니다.

가득 참5회 가능
토큰TTTTT0.2초 1개요청

쉬는 동안 토큰이 버킷 크기까지 찹니다.

5회 직후429
토큰빈 버킷0.2초 1개요청

한꺼번에 5회를 보내면 바로 바닥나고, 다음 요청은 거절됩니다.

0.4초 뒤2회 가능
토큰TT0.2초 1개요청

흐른 시간만큼 토큰을 한 번에 더해 계산합니다.

버킷 크기 5, 0.2초마다 토큰 1개가 찹니다. 평균 속도는 1초 5회로 같지만, 가득 찬 동안에는 5회를 한꺼번에 보낼 수 있습니다.

토큰을 실제로 0.2초마다 넣는 타이머는 필요 없습니다. 요청이 들어올 때 마지막으로 계산한 시각부터 흐른 시간만큼 토큰을 한 번에 더하면 됩니다.

import time
 
class TokenBucket:
    def __init__(self, capacity=5, rate=5.0):
        self.capacity = capacity      # 버킷 크기: 한 번에 몰려도 되는 요청 수
        self.rate = rate              # 초당 채워지는 토큰 수
        self.tokens = capacity
        self.updated = time.monotonic()
 
    def allow(self):
        now = time.monotonic()
        elapsed = now - self.updated
        self.tokens = min(self.capacity, self.tokens + elapsed * self.rate)
        self.updated = now
        if self.tokens >= 1:
            self.tokens -= 1
            return True
        return False

버킷 크기와 채우는 속도를 따로 정할 수 있다는 점이 장점입니다. 평소에는 여유 있게 몰림을 받아 주고, 오래 계속되는 과부하만 막고 싶을 때 잘 맞습니다.

4. 서버가 여러 대일 때: 카운터는 공유 저장소에

지금까지의 카운터는 서버 프로세스 메모리 안에 있었습니다. 로드밸런서 뒤에 서버가 두 대 있고 각자 따로 센다면, 한 클라이언트는 실제로 한도의 두 배까지 보낼 수 있습니다. 서버를 늘릴수록 한도도 같이 늘어나는 셈입니다.

그래서 보통은 모든 서버가 같은 카운터를 보도록 Redis 같은 공유 저장소에 둡니다.

매표소가 두 곳이어도 명단은 한 권이어야 한 사람이 두 번 입장하지 못합니다.

💻클라이언트client🔀로드밸런서load balancer⚙️API 서버1server⚙️API 서버2server🗄️Redisshared counter한도 1초 5회요청INCRINCR
서버마다 따로 세면 한도가 서버 수만큼 늘어납니다. 공유 저장소에 두면 정확해지는 대신 요청마다 네트워크 왕복이 하나 늘고, 저장소가 장애 지점이 됩니다.

Redis 의 INCR 은 원자적으로 값을 1 올리고 결과를 돌려주므로, 여러 서버가 동시에 올려도 수가 틀리지 않습니다. 아래는 1초 고정 창을 Redis 로 구현한 예시입니다.

import time
import redis
 
r = redis.Redis()
LIMIT, WINDOW = 5, 1  # 1초에 5회
 
def allow(client_id: str) -> bool:
    window = int(time.time()) // WINDOW
    key = f"rl:{client_id}:{window}"
    pipe = r.pipeline()            # MULTI/EXEC 로 묶어 한 번에 실행
    pipe.incr(key)
    pipe.expire(key, WINDOW * 2)   # 지난 구간의 키는 저절로 사라지게
    count, _ = pipe.execute()
    return count <= LIMIT

INCR 과 만료 설정을 따로 보내면, 그 사이에 서버가 죽었을 때 만료 없는 키가 남을 수 있습니다. 위처럼 트랜잭션으로 묶거나 Lua 스크립트로 한 번에 실행하는 것이 안전합니다. 슬라이딩 창이나 토큰 버킷도 같은 이유로 Lua 스크립트로 구현하는 경우가 많습니다.

API 게이트웨이나 리버스 프록시에서 한도를 거는 방법도 있습니다. 애플리케이션 코드를 건드리지 않고 한곳에서 관리할 수 있다는 장점이 있습니다.

5. 한도를 넘었을 때: 429 와 Retry-After

거절할 때는 이유와 다음 시도 시점을 함께 알려 주는 것이 좋습니다. 상태 코드는 429 Too Many Requests 를 쓰고, 언제 다시 보내면 되는지는 Retry-After 헤더에 담습니다. Retry-After 는 초 단위 숫자나 HTTP 날짜 형식으로 줄 수 있습니다.

HTTP/1.1 429 Too Many Requests
Retry-After: 1
Content-Type: application/json

{"error": "rate_limited", "message": "요청 한도를 넘었습니다. 1초 뒤 다시 시도해 주세요."}

식당이 꽉 찼을 때 그냥 돌려보내기보다 몇 분 뒤에 오시라고 알려 주는 편이 손님도 덜 헤맵니다.

💻클라이언트client⚙️서버API🗄️Rediscounter① 6번째 요청② INCR③ 6한도 5 초과④ 429, 1초 뒤1초 + 지터 대기⑤ 다시 요청⑥ INCR (새 구간)⑦ 1⑧ 200 OK
Retry-After 를 주면 클라이언트가 무작정 재시도하지 않습니다. 너무 짧게 주면 재시도가 다시 몰리고, 너무 길게 주면 정상 사용자가 오래 기다립니다.

클라이언트는 429 를 받으면 바로 다시 보내지 말고 Retry-After 만큼 기다립니다. 헤더가 없으면 지수 백오프로 간격을 늘리고, 여러 클라이언트가 같은 순간에 몰리지 않도록 무작위 지연(지터)을 더합니다.

import random
import time
import httpx
 
def call(url, tries=5):
    for n in range(tries):
        r = httpx.get(url)
        if r.status_code != 429:
            return r
        wait = r.headers.get("Retry-After")   # 초 단위로 온다고 가정
        delay = float(wait) if wait else 2 ** n
        time.sleep(delay + random.random())
    r.raise_for_status()  # 끝내 429 면 예외

남은 횟수를 미리 알려 주고 싶다면 X-RateLimit-Remaining 같은 헤더를 관례로 많이 씁니다. 표준 헤더(RateLimit)는 IETF 에서 아직 초안 단계라, 서비스마다 이름과 형식이 조금씩 다릅니다.

한눈에 비교

고정 창슬라이딩 로그슬라이딩 카운터토큰 버킷
저장하는 것카운터 1개요청 시각 전부카운터 2개토큰 수, 마지막 시각
경계 몰림최대 2배까지없음거의 없음(근삿값)버킷 크기만큼 허용
구현 난이도가장 쉬움쉬움보통보통
어울리는 곳대략적 제한정확도가 중요한 낮은 한도대부분의 API몰림을 받아 줘야 할 때

헷갈리기 쉬운 점

  • 429 를 받으면 바로 다시 보내면 된다는 오해. 즉시 재시도는 한도를 더 빨리 소진합니다. Retry-After 를 따르고, 없으면 지수 백오프와 지터로 간격을 벌립니다.
  • 429 와 503 은 다릅니다. 429 는 "이 클라이언트가" 한도를 넘었다는 뜻이고, 503 은 서버가 과부하나 점검으로 지금 아무 요청도 처리하기 어렵다는 뜻입니다. 둘 다 Retry-After 를 붙일 수 있습니다.
  • 토큰 버킷과 리키 버킷(leaky bucket)은 다릅니다. 토큰 버킷은 몰림을 버킷 크기만큼 통과시키지만, 큐 형태의 리키 버킷은 요청을 쌓아 두고 일정한 속도로만 내보내 출력을 평평하게 만듭니다.

면접에서 자주 받는 질문

서버가 여러 대면 카운터는 어디에 두나요?

서버마다 따로 세면 한도가 서버 수만큼 늘어납니다. 보통 Redis 같은 공유 저장소에 클라이언트별 키를 두고 INCR 과 만료로 셉니다. 증가와 만료 설정은 트랜잭션이나 Lua 스크립트로 묶어 원자적으로 처리합니다. API 게이트웨이 한곳에서 거는 방법도 있습니다.

고정 창 대신 토큰 버킷을 고르는 이유는요?

고정 창은 구간 경계에서 한도의 두 배까지 몰릴 수 있습니다. 토큰 버킷은 평균 속도를 지키면서, 몰림을 버킷 크기까지만 의도적으로 허용합니다. 평균 속도와 허용할 몰림을 따로 조절할 수 있다는 점이 차이입니다.

429 와 503 은 어떻게 다르게 쓰나요?

429 는 특정 클라이언트가 정해진 한도를 넘었을 때, 503 은 서버 자체가 과부하나 점검으로 요청을 받을 수 없을 때 씁니다. 두 응답 모두 Retry-After 로 다시 시도할 시점을 알려 줄 수 있습니다.

한도는 무엇을 기준으로 거나요?

로그인한 API 라면 사용자나 API 키 기준이 가장 정확합니다. 로그인 전 요청은 IP 기준으로 걸지만, 같은 IP 를 여러 사람이 함께 쓰는 환경에서는 정상 사용자까지 막힐 수 있어 한도를 넉넉히 잡습니다.

정리

  • 고정 창은 카운터 하나로 싸게 세지만, 구간 경계에서 한도의 두 배까지 몰릴 수 있습니다.
  • 슬라이딩 창은 경계 몰림을 없애고, 토큰 버킷은 평균 속도를 지키며 버킷 크기만큼 몰림을 허용합니다.
  • 서버가 여러 대면 카운터를 공유 저장소에 두고 원자적으로 셉니다.

넘친 요청에는 429 를, 언제 다시 올지는 Retry-After 로 알려 주는 것까지가 레이트 리밋의 완성입니다.