메시지 큐와 at-least-once: ack, 재전달, 멱등한 소비자
들어가며
작업을 서버 메모리 안의 대기열에 넣어 두고 처리하는 구조는 만들기 쉽습니다. 문제는 배포나 장애로 프로세스가 내려가는 순간입니다. 아직 처리하지 못한 작업이 대기열과 함께 사라지고, 누구도 그 사실을 모릅니다.
그래서 작업을 메시지 큐로 옮기게 됩니다. 이번 글에서는 메시지 큐가 약속하는 전달 보장 세 가지를 비교하고, 그중 가장 많이 쓰는 at-least-once 가 왜 중복을 낳는지, 소비자는 그 대가로 무엇을 해야 하는지 정리합니다.
1. 메시지 큐와 세 가지 전달 보장
메시지 큐는 보내는 쪽(producer)과 처리하는 쪽(consumer) 사이에 메시지를 쌓아 두는 버퍼입니다. 생산자는 큐에 넣기만 하고 바로 돌아가며, 소비자는 자기 속도로 꺼내 처리합니다. 둘 중 하나가 잠시 멈춰도 메시지는 큐에 남아 있습니다.
남은 질문은 "소비자가 처리하다 죽으면 그 메시지는 어떻게 되느냐"입니다. 이 답에 따라 전달 보장(delivery semantics)이 나뉩니다.
at-least-once 는 택배 기사가 받았다는 사인을 받을 때까지 다시 오는 방식입니다.
| 전달 보장 | 유실 | 중복 | ack 시점 |
|---|---|---|---|
| at-most-once최대 한 번 | 처리 전 | ||
| at-least-once최소 한 번 | 처리 후 | ||
| exactly-once정확히 한 번 | 멱등 처리재전달 + 멱등한 소비자로 만든다 |
- at-most-once: 한 번 보내고 다시 보내지 않습니다. 소비자가 받자마자 완료를 알리기 때문에, 처리 도중 죽으면 그 메시지는 유실됩니다. 대신 중복은 없습니다.
- at-least-once: 소비자가 완료를 알릴 때까지 다시 보냅니다. 유실은 없지만 같은 메시지를 두 번 받을 수 있습니다.
- exactly-once: 효과가 정확히 한 번만 남는 것입니다. 실무에서는 큐 하나로 얻는 보장이 아니라, at-least-once 전달에 멱등한 처리를 더해 만들어 냅니다.
유실된 작업은 흔적이 없어 찾기 어렵고, 중복은 코드로 걸러 낼 수 있습니다. 그래서 대부분의 시스템은 유실 대신 중복을 택해 at-least-once 를 기본으로 씁니다.
2. ack 가 오기 전까지는 끝난 것이 아니다
at-least-once 의 핵심은 ack(acknowledgement)입니다. 소비자가 "이 메시지는 처리를 끝냈다"고 큐에 알리는 신호이고, 큐는 ack 를 받은 메시지만 지웁니다. 그래서 ack 는 반드시 처리를 마친 뒤에 보내야 합니다. 처리 전에 보내면 그 순간 at-most-once 가 됩니다.
Redis Streams 의 소비자 그룹을 예로 들면 흐름은 이렇습니다. 워커가 메시지를 읽으면 그 메시지는 PENDING 목록(전달됐지만 ack 가 없는 목록)에 올라갑니다. 워커가 처리 중에 죽으면 메시지는 PENDING 에 그대로 남고, 일정 시간이 지나면 다른 워커가 XAUTOCLAIM 으로 넘겨받습니다.
사인을 못 받고 돌아간 택배는 다른 기사가 같은 상자를 다시 들고 옵니다.
# Redis 7, redis-py 기준 (decode_responses=True)
msgs = r.xreadgroup("workers", "w1", {"jobs": ">"}, count=1, block=5000)
for _, entries in msgs:
for msg_id, job in entries:
process(job) # 실패하면 ack 하지 않는다
r.xack("jobs", "workers", msg_id) # 처리가 끝난 뒤에 ack
# 다른 워커: 60초 넘게 ack 가 없는 메시지를 넘겨받는다
_, claimed, _ = r.xautoclaim("jobs", "workers", "w2", 60000)다른 큐도 이름만 다를 뿐 구조는 같습니다. Amazon SQS 는 메시지를 꺼낸 뒤 visibility timeout 동안 숨겨 두었다가 삭제 요청이 없으면 다시 보여 줍니다. RabbitMQ 는 소비자 연결이 끊기면 ack 되지 않은 메시지를 큐에 되돌립니다.
3. 중복은 반드시 온다: 멱등한 소비자
위 흐름에서 워커1이 처리를 다 끝내고 ack 를 보내기 직전에 죽었다면 어떻게 될까요? 큐 입장에서는 ack 가 없으니 끝나지 않은 메시지입니다. 워커2가 같은 메시지를 받아 한 번 더 처리합니다. 결제라면 두 번 결제되고, 메일이라면 두 번 발송됩니다.
그래서 at-least-once 를 쓰는 소비자는 멱등(idempotent)하게 만들어야 합니다. 같은 메시지를 여러 번 처리해도 결과가 한 번 처리한 것과 같아야 한다는 뜻입니다. 가장 흔한 방법은 메시지에 작업 ID 를 넣고, 처리 결과와 처리 기록을 한 트랜잭션으로 저장하는 것입니다.
BEGIN;
-- 같은 job_id 가 이미 있으면 아무것도 넣지 않는다
INSERT INTO processed_jobs (job_id) VALUES ('job-42')
ON CONFLICT (job_id) DO NOTHING;
-- 영향받은 행이 0이면 이미 처리한 작업이므로 ROLLBACK 하고 ack 만 보낸다
UPDATE orders SET status = 'paid' WHERE id = 42;
COMMIT;결과와 기록이 함께 커밋되므로 "결과는 저장됐는데 기록이 없는" 틈이 생기지 않습니다. 중복 메시지가 오면 기록을 보고 건너뛴 뒤 ack 만 보내면 됩니다.
4. 재전달 대기 시간과 상한
재전달에는 두 가지 숫자를 정해야 합니다. 하나는 ack 가 없을 때 얼마나 기다렸다가 다시 보낼지, 다른 하나는 몇 번까지 다시 보낼지입니다.
대기 시간이 처리 시간보다 짧으면 문제가 생깁니다. 대기 시간을 60초로 두었는데 어떤 작업이 90초 걸린다면, 워커1이 아직 처리하는 중에 워커2가 같은 메시지를 넘겨받아 동시에 두 번 돌립니다.
아직 배달 중인데 늦는다고 다른 기사를 보내면 같은 집에 두 번 갑니다.
반대로 너무 길게 잡으면 죽은 워커의 작업이 늦게 복구됩니다. 처리 시간이 들쭉날쭉하다면 처리 중에 소유 시각을 주기적으로 갱신하는 방법을 씁니다. Redis Streams 에서는 워커가 자기 메시지를 XCLAIM 으로 다시 가져와 대기 시각을 초기화하고, SQS 에서는 visibility timeout 을 연장합니다.
재전달 횟수에도 상한이 있어야 합니다. 데이터가 잘못돼 처리할 때마다 실패하는 메시지(poison message)는 상한이 없으면 큐를 영원히 돌며 워커를 붙잡습니다. 상한을 넘은 메시지는 버리지 않고 DLQ(dead letter queue)로 옮겨 원인을 볼 수 있게 남깁니다. Redis Streams 는 XPENDING 으로 메시지별 전달 횟수를 확인할 수 있습니다.
몇 번을 가도 못 받는 택배는 계속 돌리지 않고 보관소에 맡겨 원인을 봅니다.
큐는 "아직 ack 가 없다"는 사실만 압니다. 서버가 죽어서 끊긴 작업인지, 사용자가 취소한 작업인지는 구분하지 못합니다. 취소 같은 사유는 앱이 작업 상태에 적어 두고, 재전달된 메시지를 처리하기 전에 그 값을 확인해야 합니다.
헷갈리기 쉬운 점
- exactly-once 를 지원하는 큐를 쓰면 중복 처리가 사라진다는 오해. 그 보장은 큐 안(또는 같은 시스템 안의 읽기·쓰기)까지입니다. DB 쓰기나 외부 API 호출까지 한 번으로 만들려면 결국 소비자가 멱등해야 합니다.
- ack 를 먼저 보내면 안전하다는 오해. 처리 전에 ack 하면 중복은 사라지지만 처리 중 장애가 곧 유실이 됩니다. at-most-once 로 바뀐 것입니다.
- Kafka 도 메시지마다 ack 한다는 오해. Kafka 는 파티션별로 어디까지 읽었는지(offset)를 커밋합니다. 처리 후 커밋하면 at-least-once, 처리 전에 커밋하면 at-most-once 이며, 메시지는 읽어도 지워지지 않고 보관 기간 동안 남습니다.
면접에서 자주 받는 질문
처리는 끝냈는데 ack 직전에 소비자가 죽으면 어떻게 되나요?
큐는 ack 를 받지 못했으니 메시지를 다시 전달하고, 같은 작업이 두 번 처리됩니다. 그래서 작업 ID 로 이미 처리했는지 확인하고 건너뜁니다. 처리 결과와 처리 기록을 한 트랜잭션에 넣으면 그 사이에 죽는 경우도 막을 수 있습니다.
재전달 대기 시간을 너무 짧게 잡으면 어떤 문제가 생기나요?
아직 처리 중인 메시지를 다른 소비자가 가져가 동시에 두 번 처리합니다. 너무 길면 장애가 난 소비자의 메시지가 늦게 복구됩니다. 처리 시간이 길거나 일정하지 않으면 처리 중에 소유 시각이나 visibility timeout 을 주기적으로 연장합니다.
재전달 횟수에 상한이 없으면 어떻게 되나요?
매번 실패하는 poison message 가 큐를 계속 돌면서 소비자 자원을 차지하고, 뒤에 있는 정상 메시지까지 늦어집니다. 전달 횟수가 상한을 넘으면 DLQ 로 옮기고 원래 큐에서는 ack 해 정리합니다.
Kafka 는 at-least-once 를 어떻게 구현하나요?
메시지별 ack 대신 소비자 그룹이 파티션별 offset 을 커밋합니다. 처리를 마친 뒤 offset 을 커밋하면, 커밋 전에 죽었을 때 마지막 커밋 위치부터 다시 읽으므로 at-least-once 가 됩니다.
정리
- 메시지 큐는 생산자와 소비자 사이의 버퍼이고, 전달 보장은 소비자가 죽었을 때 메시지를 어떻게 다루느냐로 나뉩니다.
- at-least-once 는 처리 후 ack 로 유실을 막는 대신 중복을 낳습니다. 소비자는 작업 ID 와 트랜잭션으로 멱등하게 만듭니다.
- 재전달 대기 시간은 처리 시간보다 길게, 재전달 횟수에는 상한을 두고 넘친 메시지는 DLQ 로 보냅니다.
잃어버리느니 두 번 받는 쪽을 고른 것이 at-least-once 이고, 그래서 소비자는 두 번 받아도 괜찮게 만들어야 합니다.