DevOps
네트워크 인프라
리버스 프록시와 로드밸런서: L4·L7 차이와 502·504 읽기

리버스 프록시와 로드밸런서: L4·L7 차이와 502·504 읽기

들어가며

컨테이너 몇 개로 서비스를 올리다 보면 화면 서버는 3000번, API 서버는 8000번처럼 포트가 제각각이 됩니다. 브라우저가 이 주소들을 모두 직접 알아야 하고, 도메인이 둘이 되니 CORS 설정도 따라붙습니다. 서버를 한 대 더 늘리면 어느 쪽으로 보낼지도 정해야 합니다.

이럴 때 서비스 앞에 nginx 같은 리버스 프록시를 하나 둡니다. 이번 글에서는 리버스 프록시와 로드밸런서가 각각 무엇을 맡는지, L4와 L7은 어떻게 다른지, 그리고 운영하면서 자주 만나는 502·504를 어떻게 읽는지 정리합니다.


1. 리버스 프록시: 서버 앞의 단일 창구

리버스 프록시는 클라이언트의 요청을 서버 대신 받아 뒤쪽 서버로 넘겨 주는 중계 서버입니다. 클라이언트는 프록시 주소 하나만 알면 되고, 그 뒤에 서버가 몇 대인지, 어떤 포트에서 도는지는 몰라도 됩니다.

이름에 "리버스"가 붙는 이유는 포워드 프록시와 방향이 반대이기 때문입니다. 포워드 프록시는 회사 인터넷 통제처럼 보내는 쪽(클라이언트)을 대신하고, 사용자가 직접 설정해서 씁니다. 리버스 프록시는 받는 쪽(서버)을 대신하고, 클라이언트는 그 존재를 모릅니다.

손님이 아는 번호는 프런트 하나이고, 안쪽 부서로 연결하는 일은 프런트가 맡습니다. 이것이 리버스 프록시입니다.

🌐브라우저client🛎️nginxTLS 종료🖼️정적 파일/⚙️api1:8000정상⚙️api2:80003회 실패🗄️DBupstream apiHTTPS/ 경로/api/10초 제외
창구를 하나로 모으면 TLS·경로 라우팅·부하 분산을 한곳에서 맡습니다. 대신 프록시가 멈추면 전체가 멈추는 장애 지점이 한 겹 늘어납니다.

창구가 하나로 모이면 아래 일을 한곳에서 처리합니다.

  • TLS 종료: HTTPS 인증서를 프록시에만 두고, 안쪽은 평문 HTTP로 통신합니다.
  • 경로 라우팅: /api/ 는 API 서버로, 나머지는 정적 파일로 보냅니다.
  • 같은 출처 유지: 화면과 API가 같은 도메인 아래에 있으니 브라우저 입장에서는 같은 출처이고, CORS 설정이 필요 없습니다.
upstream api {
    server api1:8000 max_fails=3 fail_timeout=10s;
    server api2:8000 max_fails=3 fail_timeout=10s;
}
 
server {
    listen 443 ssl;              # TLS 는 여기서 끝난다
    server_name example.com;
 
    location /api/ {
        proxy_pass http://api;
        proxy_set_header Host $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
 
    location / {
        root /usr/share/nginx/html;   # 화면 정적 파일
    }
}

2. 로드밸런서: 여러 대에 나누고, 죽은 서버는 빼기

위 설정의 upstream 블록이 로드밸런싱입니다. 로드밸런서는 요청을 여러 서버에 나눠 보내고, 응답하지 않는 서버는 대상에서 잠시 뺍니다.

나누는 방식은 몇 가지가 있습니다. nginx 기본값은 차례로 돌아가며 보내는 라운드 로빈이고, least_conn 은 연결이 가장 적은 서버를, ip_hash 는 같은 클라이언트 IP를 같은 서버로 보냅니다.

죽은 서버를 찾는 헬스체크에는 두 종류가 있습니다. 수동 헬스체크는 실제 요청이 실패한 횟수로 판단합니다. 위 예시의 max_fails=3 fail_timeout=10s 는 10초 안에 세 번 실패하면 그 서버를 10초 동안 빼라는 뜻입니다. 능동 헬스체크는 주기적으로 /health 같은 주소를 따로 호출해 확인합니다. 오픈소스 nginx는 수동 방식만 지원하고, 능동 방식은 상용 버전이나 클라우드 로드밸런서에서 씁니다.

L4와 L7 로드밸런서

로드밸런서는 요청의 어디까지 들여다보느냐에 따라 L4와 L7로 나뉩니다.

L4는 봉투의 주소만 보고 나누고, L7은 봉투를 열어 내용까지 읽고 나눕니다.

L7 로드밸런서요청 단위
HTTP 경로·헤더L7/api/ 로 분기
TLS암호화여기서 복호화
TCP 포트L4
IP 주소L3
L4 로드밸런서연결 단위
HTTP 경로·헤더L7보지 않음
TLS암호화그대로 통과
TCP 포트L4포트로 분기
IP 주소L3
L7은 경로별로 나눌 수 있는 대신 TLS를 풀고 HTTP를 해석하는 비용이 듭니다. L4는 빠르고 어떤 TCP든 받지만 경로는 모릅니다.

L4 로드밸런서는 IP와 포트만 보고 TCP 연결 단위로 나눕니다. 내용을 해석하지 않아 빠르고, HTTP가 아닌 DB 연결이나 게임 서버 트래픽도 받을 수 있습니다. L7 로드밸런서는 HTTP 경로와 헤더까지 읽고 요청 단위로 나눕니다. /api 는 이쪽, /images 는 저쪽처럼 나눌 수 있는 대신 TLS를 풀고 요청을 해석하는 만큼 부담이 큽니다.

3. 502와 504: 프록시가 만든 오류 읽기

프록시를 두면 새로 만나는 상태 코드가 있습니다. 502와 504는 뒤쪽 서버가 아니라 프록시가 직접 만든 응답이라, 원인은 프록시 뒤에 있습니다.

프런트가 안쪽 부서에 전화가 닿지 않으면 502, 답을 기다리다 끊으면 504입니다.

502못 닿음
🌐브라우저client🛎️nginx리버스 프록시⚙️APIupstream① GET /api/② 연결 시도③ 연결 거부④ 502 응답

뒤 서버가 연결을 받지 않았습니다(111).

504시간 초과
🌐브라우저client🛎️nginx리버스 프록시⚙️APIupstream① GET /api/② 요청 전달90초 처리 중③ 60초 · 504

프록시만 기다림을 끝냈고 뒤 서버는 계속 일합니다.

두 코드 모두 프록시가 만든 응답이라 원인은 프록시 뒤에 있습니다. 504를 대기 상한 연장으로만 풀면 연결이 오래 묶입니다.
  • 502 Bad Gateway: 뒤쪽 서버에서 유효한 응답을 받지 못했다는 뜻입니다. 연결 거부, 도중에 끊긴 연결, 깨진 응답이 원인입니다.
  • 504 Gateway Timeout: 정해 둔 시간 안에 응답이 오지 않았다는 뜻입니다. nginx의 proxy_read_timeout 기본값은 60초입니다.

둘을 가를 때는 nginx의 error.log 문구부터 봅니다.

location /api/ {
    proxy_pass http://api;
    proxy_connect_timeout 5s;
    proxy_read_timeout 60s;    # 응답 대기 상한
}
 
# error.log
# connect() failed (111: Connection refused)  → 502: 뒤 서버가 연결을 안 받음
# upstream timed out (110: Connection timed out) → 504: 시간 초과
⚠️

504는 프록시가 기다리기를 그만둔 것일 뿐, 뒤쪽 서버는 작업을 계속하고 있을 수 있습니다. 클라이언트가 504를 보고 재시도하면 같은 작업이 두 번 실행됩니다. 오래 걸리는 작업은 대기 시간을 늘리기보다 202로 접수하고 상태를 조회하게 바꾸는 편이 안전합니다.

4. 원래 클라이언트 IP 전달: X-Forwarded-For

프록시를 거치면 뒤쪽 서버가 보는 접속 IP는 클라이언트가 아니라 프록시의 IP입니다. 그래서 프록시는 원래 IP를 X-Forwarded-For 헤더에 담아 넘깁니다. 프록시를 하나 거칠 때마다 직전에 접속한 주소가 오른쪽에 덧붙습니다.

택배 송장에 거쳐 간 물류센터가 차례로 찍히는 것과 같습니다. 다만 맨 앞 칸은 보낸 사람이 직접 쓸 수도 있습니다.

X-Forwarded-For①: 203.0.113.7②, 10.0.0.5③
  • ①헤더 이름
  • ②클라이언트 · 앞단 LB가 적음 · 위조 가능
  • ③앞단 LB · nginx가 덧붙임
예시 값입니다. 오른쪽 값은 믿을 수 있는 프록시가 적은 것이고, 왼쪽으로 갈수록 위조 가능성이 커집니다.

위 예시는 클라이언트가 앞단 로드밸런서와 nginx를 차례로 거친 경우입니다. 로드밸런서가 클라이언트 IP를 적고, nginx가 자신에게 접속한 로드밸런서의 IP를 덧붙였습니다.

문제는 이 헤더를 클라이언트도 마음대로 보낼 수 있다는 점입니다. 맨 왼쪽 값을 그대로 믿으면 IP 기반 차단이나 레이트 리밋을 쉽게 우회당합니다. 믿을 수 있는 프록시 목록을 정해 두고, 오른쪽부터 그 목록에 없는 첫 주소를 클라이언트 IP로 씁니다. nginx에서는 set_real_ip_from 과 real_ip_recursive on 이 이 역할을 합니다.

한눈에 비교

포워드 프록시리버스 프록시L4 로드밸런서L7 로드밸런서
누구를 대신하나클라이언트서버서버서버
보는 정보목적지 주소HTTP 요청 전체IP·포트HTTP 경로·헤더
나누는 단위-요청TCP 연결요청
대표 용도사내 인터넷 통제TLS 종료·라우팅DB·비HTTP 트래픽경로별 라우팅

헷갈리기 쉬운 점

  • nginx를 앞에 둔다고 부하가 저절로 나뉘지는 않습니다. upstream 에 서버를 여러 대 넣어야 나뉘고, 한 대만 있으면 그냥 중계일 뿐입니다.
  • nginx는 upstream의 호스트 이름을 시작할 때 한 번만 풉니다. 컨테이너를 다시 만들어 IP가 바뀌면 옛 주소로 계속 보내 502가 납니다. resolver 와 변수를 쓴 proxy_pass 로 요청마다 다시 찾게 하거나 nginx를 reload 합니다. 최근 오픈소스 버전(1.27.3 이후)에서는 upstream의 server 에 resolve 매개변수를 줄 수 있습니다.
  • 리버스 프록시는 장애 지점이 한 겹 더 늘어나는 일이기도 합니다. 프록시가 멈추면 뒤가 멀쩡해도 서비스 전체가 멈추므로, 프록시 자체도 이중화합니다.

면접에서 자주 받는 질문

리버스 프록시와 로드밸런서는 무엇이 다른가요?

리버스 프록시는 서버 앞에서 요청을 대신 받아 뒤로 넘기는 창구이고, TLS 종료와 경로 라우팅을 맡습니다. 로드밸런서는 그 요청을 여러 서버에 나누고 죽은 서버를 빼는 기능입니다. nginx처럼 둘을 함께 하는 도구가 많아 섞어 부르지만, 서버가 한 대여도 리버스 프록시는 의미가 있다는 점이 다릅니다.

L4와 L7 로드밸런서는 언제 어떤 것을 쓰나요?

경로나 헤더에 따라 나눌 일이 있는 웹 API에는 L7을 씁니다. DB나 게임 서버처럼 HTTP가 아닌 TCP 연결은 L4로 나눕니다. 처리량이 큰 서비스는 앞단 L4가 연결을 여러 L7 프록시로 나누고, 각 L7이 경로를 나누는 구성을 많이 씁니다.

504를 없애려고 proxy_read_timeout을 10분으로 늘리면 되나요?

당장은 줄어들지만 연결과 워커가 그만큼 오래 묶입니다. 앞단 로드밸런서나 게이트웨이에도 각자의 시간 상한이 있어 거기서 다시 끊길 수 있습니다. 오래 걸리는 작업은 202로 접수하고 상태를 조회하는 비동기 방식으로 바꿉니다.

정리

  • 리버스 프록시는 서버 앞의 단일 창구입니다. TLS 종료, 경로 라우팅, 같은 출처 유지를 한곳에서 맡습니다.
  • 로드밸런서는 여러 대에 나누고 죽은 서버를 뺍니다. L4는 연결 단위로, L7은 요청 단위로 나눕니다.
  • 502는 뒤 서버에 닿지 못한 것이고, 504는 기다리다 시간이 다 된 것입니다. 원인은 error.log에서 가릅니다.

손님은 프런트 번호 하나만 알면 되고, 안쪽 부서가 바뀌어도 알 필요가 없습니다. 리버스 프록시가 하는 일이 바로 그것입니다.