백엔드
데이터베이스
커넥션 풀: 연결을 빌려 쓰는 이유와 크기 정하는 법

커넥션 풀: 연결을 빌려 쓰는 이유와 크기 정하는 법

들어가며

트래픽이 조금 늘었을 뿐인데 API 응답이 느려지는데, DB 지표를 보면 쿼리는 여전히 몇 밀리초 만에 끝나는 경우가 있습니다. 이럴 때 원인은 쿼리가 아니라 연결을 맺는 비용이거나 연결을 기다리는 시간인 경우가 많습니다.

이번 글에서는 요청마다 새로 연결하면 왜 느린지, 커넥션 풀이 이를 어떻게 푸는지, 풀 크기는 무엇으로 정하는지 정리합니다.

1. DB 연결은 생각보다 비쌉니다

PostgreSQL 에 쿼리 하나를 보내려면 TCP 핸드셰이크, TLS 협상, 인증을 먼저 거쳐야 합니다. 서버는 연결마다 백엔드 프로세스를 새로 띄웁니다.

요청마다 연결하는 건 짐 하나 옮길 때마다 택시를 새로 부르는 것이고, 풀은 회사 차 몇 대를 돌려 쓰는 거예요.

🖥️앱애플리케이션🗄️DBPostgreSQL① SYN② SYN-ACK③ ACK백엔드 프로세스 생성④ TLS 핸드셰이크⑤ TLS 완료⑥ 인증 요청⑦ 인증 완료⑧ SELECT 쿼리⑨ 결과 10ms
쿼리 한 번 앞에 왕복이 여러 번 붙는다. 풀을 쓰면 이 준비 단계는 처음 한 번만 거친다.

네트워크 왕복이 여러 번 들어가니 연결에만 수십 밀리초가 걸리기도 합니다. 쿼리는 10ms 인데 연결에 30ms 를 매번 낸다면 응답 시간 대부분을 준비에 쓰는 셈입니다.

2. 커넥션 풀: 미리 열어 두고 빌려 쓰기

커넥션 풀은 연결을 미리 몇 개 열어 두고, 요청이 오면 빌려 주고 끝나면 돌려받는 방식입니다. 수립 비용은 처음 한 번만 냅니다. 대신 개수가 정해져 있어서, 모두 빌려 간 상태라면 다음 요청은 반납을 기다립니다.

from sqlalchemy import create_engine, text
 
engine = create_engine(
    "postgresql+psycopg://app@db.example.com/shop",
    pool_size=5,         # 늘 열어 두는 연결
    max_overflow=5,      # 몰릴 때 임시로 더 여는 연결
    pool_timeout=10,     # 빈 연결을 기다리는 상한(초)
    pool_pre_ping=True,  # 끊긴 연결 거르기
)
 
with engine.connect() as conn:   # 빌림
    conn.execute(text("SELECT 1"))
# with 를 벗어나면 반납

SQLAlchemy 기준으로 이 설정이면 평소 5개, 몰릴 때 최대 10개까지 열립니다. 임시 연결은 반납될 때 풀이 이미 차 있으면 닫힙니다. 10초 안에 빈 연결을 못 빌리면 요청은 타임아웃 오류로 끝납니다.

3. 커넥션 누수

예외 경로에서 연결을 닫지 않거나 트랜잭션을 연 채 오래 붙잡으면, 그 연결은 풀로 돌아오지 않습니다. 이것이 커넥션 누수입니다.

빌려 간 회사 차를 반납하지 않으면, 주차장은 비어 보여도 다음 사람은 탈 차가 없어요.

평소여유
풀AB쉼쉼쉼임시대기요청

요청 A·B 만 빌려 가고 나머지 3개는 쉬고 있다.

누수고갈
풀누수누수누수AB임시누수누수CDE대기FG10초 후 오류요청

반납 안 된 연결 5개가 자리를 차지해 F·G 는 10초를 기다리다 실패한다.

pool_size 5 · max_overflow 5 기준. 누수가 쌓이면 DB 는 한가한데 앱 쪽 대기만 길어진다.

누수가 쌓이면 연결 10개가 모두 바닥나고 새 요청은 10초를 기다리다 실패합니다. DB 에는 실행 중인 쿼리가 거의 없어서 DB 만 보면 원인을 찾기 어렵습니다. with 문이나 finally 로 반납을 보장하고, PostgreSQL 이라면 pg_stat_activity 에서 idle in transaction 으로 오래 남은 세션을 찾아봅니다.

4. 풀 크기 정하기

풀은 애플리케이션 프로세스마다 따로 생깁니다. 그래서 DB 가 받는 연결 수는 서버 수 × (pool_size + max_overflow) 입니다. PostgreSQL 의 max_connections 기본값은 100이고, 그중 3개는 관리자용으로 예약돼 있습니다.

차고는 100칸인데 지점마다 차를 10대씩 두면, 지점 10곳에서 차고가 꽉 찹니다.

020406080100120024681012서버 수DB 연결 수max_connection…10대에서 한도서버당 10개서버당 5개
전체 연결 수 = 서버 수 × 서버당 최대 연결 수. 서버를 늘릴수록 풀을 줄이거나 외부 풀러로 묶어야 한다.

서버당 10개로 10대까지 늘리면 100개에 닿아, 오토스케일링 순간 DB 가 연결을 거부합니다. 서버당 풀을 줄이거나 PgBouncer 같은 외부 풀러로 실제 연결 수를 묶습니다.

아래쪽 기준은 리틀의 법칙입니다. 초당 200건을 처리하고 요청마다 연결을 20ms 쥔다면 200 × 0.02 = 4개면 충분합니다. 여유를 조금 더해 시작하고, 풀 대기 시간 지표를 보며 조정합니다.

헷갈리기 쉬운 점

  • 풀이 클수록 빨라지지 않습니다. DB 가 동시에 일할 수 있는 양은 CPU 코어와 디스크가 정합니다. 넘치는 연결은 문맥 전환과 락 경합만 늘립니다.
  • 풀 고갈이 곧 DB 과부하는 아닙니다. 누수나 긴 트랜잭션이면 DB 는 한가합니다. 앱 대기 시간과 DB 활성 쿼리 수를 함께 봅니다.
  • 워커 프로세스 수도 곱해야 합니다. 워커 4개짜리 웹 서버는 서버 한 대가 풀 4개를 가집니다.

면접에서 자주 받는 질문

요청마다 DB 에 새로 연결하면 왜 느린가요?

연결마다 TCP 핸드셰이크, TLS 협상, 인증을 거치고 DB 는 연결용 프로세스를 새로 준비합니다. 왕복이 여러 번이라 쿼리보다 오래 걸리기도 합니다. 풀은 연결을 재사용해 이 비용을 한 번만 냅니다.

풀 크기는 어떤 기준으로 정하나요?

위로는 서버 수 × 풀 크기가 DB 최대 연결 수를 넘지 않아야 하고, 아래로는 초당 요청 수 × 연결 점유 시간만큼은 있어야 합니다. 그 사이에서 작게 시작해 풀 대기 시간을 보며 늘립니다.

서버를 10대로 늘렸더니 DB 가 연결을 거부합니다. 왜죠?

전체 연결 수는 서버 수 × 서버당 풀 크기입니다. 서버당 10개면 10대에서 100개로 PostgreSQL 기본 max_connections 에 닿습니다. 풀을 줄이거나 PgBouncer 같은 외부 풀러를 둡니다.

커넥션 누수는 어떻게 알아채고 막나요?

풀 대기 타임아웃은 늘어나는데 DB 활성 쿼리는 적다면 누수를 의심합니다. with 문이나 finally 로 반납을 보장하고, 대여 시간이 긴 연결을 로그로 남겨 빌린 위치를 추적합니다.

정리

  • DB 연결은 핸드셰이크·TLS·인증·프로세스 생성을 거쳐 쿼리보다 비쌀 때가 많습니다.
  • 커넥션 풀은 연결을 재사용해 이 비용을 없애지만, 반납되지 않으면 누수로 앱이 멈춥니다.
  • 풀 크기는 서버 수를 곱해 DB 한도 아래로, 처리량 × 점유 시간보다는 크게 잡습니다.

연결은 비싸니 빌려 쓰고, 몇 개를 빌릴지는 결국 DB 가 감당할 수 있는 양이 정합니다.