시스템 설계
장애 대응
재시도 설계: 지수 백오프와 지터, 재시도 폭풍

재시도 설계: 지수 백오프와 지터, 재시도 폭풍

들어가며

외부 API를 호출하다 보면 같은 요청이 어떤 때는 실패하고, 몇 초 뒤에는 멀쩡히 성공하는 일을 자주 만납니다. 네트워크가 잠깐 끊겼거나, 상대 서버가 순간적으로 몰린 요청을 감당하지 못한 경우입니다.

이럴 때 가장 먼저 떠오르는 대응이 "실패하면 다시 보낸다"입니다. 그런데 재시도를 대충 붙이면 잠깐의 장애가 긴 장애로 커지기도 합니다. 이번 글에서는 무엇을 재시도할지, 얼마나 기다릴지, 언제 멈출지를 차례로 정리합니다.

1. 재시도할 실패와 하지 않을 실패

재시도는 일시적 오류에만 의미가 있습니다. 일시적 오류란 같은 요청을 다시 보냈을 때 성공할 가능성이 있는 실패입니다. 연결 타임아웃, 429 Too Many Requests, 502·503·504 같은 응답이 대표적입니다.

반대로 400 Bad Request 나 401 Unauthorized 는 요청 자체가 잘못된 것이라 몇 번을 보내도 결과가 같습니다. 이런 실패를 재시도하면 응답만 늦어지고 상대 서버에 쓸모없는 부하를 더합니다.

하나 더 따져야 할 것이 멱등성입니다. 멱등한 요청은 여러 번 보내도 결과가 한 번 보낸 것과 같습니다. GET 이나 PUT 은 보통 안전하게 재시도할 수 있지만, 결제처럼 POST 로 무언가를 새로 만드는 요청은 응답만 유실되고 처리는 이미 끝났을 수 있습니다. 이런 요청은 멱등성 키를 함께 보내 서버가 중복을 걸러 내도록 만든 뒤에 재시도합니다.

2. 지수 백오프: 실패할수록 오래 기다리기

재시도 간격을 고정하면 서버가 회복할 틈이 없습니다. 3초마다 다시 보내는 클라이언트는 서버가 30초 동안 내려가 있어도 계속 같은 속도로 두드립니다.

지수 백오프(exponential backoff)는 실패할 때마다 대기 시간을 배로 늘립니다. 기본값을 1초로 두면 1, 2, 4, 8, 16초 순서입니다. 대기 시간이 끝없이 커지지 않도록 상한(cap)을 함께 둡니다. 아래 그림은 상한을 30초로 둔 경우입니다.

통화 중이면 처음엔 1분, 다음엔 2분, 그다음엔 4분 점점 오래 기다렸다 다시 거는 것과 같습니다. 다만 한 시간 넘게는 기다리지 않습니다.

08162432123456시도 순서대기(초)상한 30초계산값 32고정 3초지수(상한 없음)지수(상한 30)
기본값 1초, 상한 30초 기준입니다. 상한 없이 두면 몇 번만 더 실패해도 대기 시간이 분 단위로 커집니다.

여섯 번째 시도에서 계산값은 32초지만 상한 때문에 30초에서 멈춥니다. 상한이 없으면 몇 번만 더 실패해도 대기 시간이 분 단위로 넘어가 사용자가 응답을 기다릴 수 없게 됩니다.

3. 지터: 다시 오는 시각을 흩뜨리기

지수 백오프만으로는 부족한 상황이 있습니다. 서버가 한 번 넘어지면 그 순간 실패한 클라이언트 수백 개가 모두 같은 공식으로 기다렸다가, 같은 순간에 다시 요청을 보냅니다. 막 살아난 서버가 그 몰림을 받고 다시 넘어집니다.

지터(jitter)는 대기 시간에 무작위 값을 섞어 이 몰림을 풉니다. 널리 쓰이는 방식은 full jitter로, 계산한 백오프 값을 상한으로 두고 0부터 그 값 사이에서 무작위로 고릅니다.

식당 문이 다시 열리는 순간 줄 선 손님이 한꺼번에 밀려드는 대신, 번호표를 받아 조금씩 다른 시각에 들어오는 것과 같습니다.

고정 3초몰림
요청 A실패실패실패실패실패요청 B실패실패실패실패실패요청 C실패실패실패실패실패036912초

세 클라이언트가 같은 순간 다시 보내 서버가 회복하지 못합니다.

지수 + 지터흩어짐
요청 A실패실패실패실패성공요청 B실패실패실패실패성공요청 C실패실패실패실패성공036912초

기다림이 1·2·4·8초 안에서 무작위로 정해져 다시 오는 시각이 어긋납니다.

시각은 설명용 어림입니다(아래쪽은 full jitter 예시 값). 지터는 몰림을 풀어 주지만 개별 요청의 대기 시간은 예측하기 어려워집니다.

위쪽은 세 클라이언트가 3초 간격으로 똑같이 돌아오는 모습이고, 아래쪽은 지수 백오프에 full jitter를 더한 모습입니다. 아래쪽은 같은 실패를 겪어도 다시 오는 시각이 서로 어긋나서 서버가 한 번에 받는 요청 수가 줄어듭니다.

import random
import time
 
import requests
 
RETRYABLE = {429, 500, 502, 503, 504}
 
def call(url, tries=5, base=1.0, cap=30.0, deadline=60.0):
    started = time.monotonic()
    for n in range(tries):
        try:
            r = requests.get(url, timeout=5)
            if r.status_code not in RETRYABLE:
                return r
        except (requests.ConnectionError, requests.Timeout):
            r = None
        if n == tries - 1:
            break
        wait = random.uniform(0, min(cap, base * 2 ** n))  # full jitter
        if r is not None and r.headers.get("Retry-After", "").isdigit():
            wait = max(wait, int(r.headers["Retry-After"]))
        if time.monotonic() - started + wait > deadline:
            break
        time.sleep(wait)
    raise RuntimeError("retry exhausted")

이 코드는 세 가지를 함께 지킵니다. 재시도할 상태 코드만 다시 보내고, 서버가 Retry-After 를 주면 그 값을 우선하며, 시도 횟수와 전체 마감 시간 중 하나라도 넘으면 멈춥니다.

4. 재시도 폭풍: 층마다 재시도하면 곱으로 늘어난다

재시도는 한 곳에서만 일어나지 않습니다. 클라이언트가 서버 A를 부르고, A가 B를 부르고, B가 DB를 부르는 구조에서 세 층이 모두 3번씩 재시도한다고 해 보겠습니다.

부탁을 세 사람 건너 전할 때 각자 세 번씩 다시 물어보면, 맨 끝 사람은 같은 질문을 27번 받게 됩니다.

💻클라이언트client🖥️서버 AAPI🖥️서버 Bservice🗄️DB최대 27회3회3×3=9회9×3=27회
층마다 3회씩 시도할 때의 최대치입니다. 재시도를 한 층에만 두면 맨 아래 호출은 최대 3번으로 줄어듭니다.

DB가 느려지면 B는 DB를 3번 부르고, A는 B를 3번 부르고, 클라이언트는 A를 3번 부릅니다. 원래 1번이던 DB 호출이 최대 27번으로 불어납니다. 장애 난 곳에 가장 많은 부하가 몰리는, 정확히 반대의 결과입니다.

그래서 재시도는 보통 한 층에서만 하도록 정합니다. 여러 층에서 해야 한다면 전체 요청 대비 재시도 비율에 예산을 두어, 예산을 넘으면 재시도를 멈추게 합니다. 실패가 계속될 때 아예 호출을 끊는 서킷 브레이커와 함께 쓰는 경우도 많습니다.

헷갈리기 쉬운 점

  • 실패하면 무조건 재시도하면 된다는 오해. 4xx 대부분은 재시도해도 결과가 같고, 멱등하지 않은 요청은 중복 처리로 이어질 수 있습니다.
  • 지수 백오프만 있으면 몰림이 사라진다는 오해. 모두 같은 공식을 쓰면 같은 시각에 돌아옵니다. 지터가 있어야 흩어집니다.
  • 재시도 횟수만 정하면 된다는 오해. 횟수가 같아도 대기 시간이 길어지면 사용자는 수십 초를 기다립니다. 전체 마감 시간을 함께 둡니다.

면접에서 자주 받는 질문

왜 고정 간격이 아니라 지수 백오프를 쓰나요?

장애가 길어질수록 재시도 간격을 늘려 서버가 회복할 시간을 주기 위해서입니다. 고정 간격은 장애 내내 같은 부하를 계속 보냅니다. 여기에 지터를 더해 여러 클라이언트가 같은 순간에 돌아오는 것을 막고, 상한과 시도 횟수, 전체 마감 시간으로 끝을 정합니다.

서버가 Retry-After 헤더를 주면 어떻게 하나요?

서버가 정한 시간을 우선합니다. 직접 계산한 백오프 값이 더 짧더라도 그 시간만큼은 기다립니다. 주로 429나 503 응답에 붙어 오고, 값은 초 단위 숫자나 HTTP 날짜 형식입니다.

서비스 여러 층에서 재시도하면 무슨 일이 생기나요?

재시도가 층마다 곱해집니다. 세 층이 각각 3번씩 시도하면 맨 아래 서버는 최대 27번 호출을 받습니다. 그래서 재시도는 한 층에서만 하거나 재시도 비율에 예산을 두고, 서킷 브레이커로 계속 실패하는 호출을 끊습니다.

POST 요청도 재시도해도 되나요?

그대로는 위험합니다. 서버가 이미 처리했는데 응답만 유실됐다면 같은 주문이나 결제가 두 번 만들어집니다. 클라이언트가 요청마다 고유한 멱등성 키를 보내고, 서버가 같은 키의 요청을 한 번만 처리하도록 만든 뒤에 재시도합니다.

정리

  • 재시도는 타임아웃·429·5xx 같은 일시적 오류에만, 멱등한 요청에만 겁니다.
  • 지수 백오프로 간격을 늘리고, 지터로 다시 오는 시각을 흩뜨리고, 상한과 마감 시간으로 끝을 정합니다.
  • 층마다 재시도하면 부하가 곱으로 늘어나므로 한 층에서만 하거나 예산을 둡니다.

기다림은 배로 늘리고, 시각은 흩뜨리고, 횟수는 미리 정해 두는 것. 재시도 설계는 이 세 가지로 요약됩니다.