LEE HEEYEON
프로젝트로 돌아가기
백엔드 · 신뢰성

Kafka 기반 송금 시스템

DB-Kafka 간 정합성, 중복 소비, 동시성 충돌을 Outbox·Optimistic Lock·멱등성으로 검증한 개인 프로젝트.

100건 동시 송금
최종 잔액 정합성 검증
역할
개인 프로젝트 (1인)
기간
2026.01 – 2026.05
팀
개인 학습·고도화 프로젝트
담당 영역
  • 도메인 모델과 원장(Ledger) 구조 설계 및 구현
  • Outbox 패턴과 미발행 이벤트 재발행 스케줄러 구현
  • 소비자 멱등성 처리와 복합 유니크 키 제약 설계
  • Docker Compose·Nginx 기반 배포 환경 구성
JavaSpring BootKafkaMySQLDocker
GitHub
01

핵심 문제

두 계좌의 잔액을 하나의 트랜잭션에서 변경하는 수준에서 시작했지만, 실제 서비스 관점에서는 DB 반영과 메시지 발행이 어긋나는 상황이 더 중요하다고 판단해 정합성과 복구 가능성을 중심으로 구조를 다시 설계했습니다.

DB에는 송금 요청이 저장됐지만 Kafka 발행이 실패하면 요청이 유실될 수 있습니다.

네트워크 재시도나 재처리 과정에서 같은 메시지가 중복 소비될 수 있습니다.

같은 계좌에 동시 송금이 몰리면 갱신 손실과 한도 초과 인출이 발생할 수 있습니다.

02

시스템 구조

송금 요청을 TransferLedger와 Outbox에 같은 트랜잭션으로 저장하고, 커밋 이후 Kafka로 발행한 뒤 소비자가 낙관적 락 재시도를 거쳐 계좌와 원장을 반영하는 구조도
03

트러블슈팅과 의사결정

문제를 확인하고 해결책을 선택한 뒤, 선택 이유와 트레이드오프, 검증 결과까지 한 흐름으로 정리했습니다.

DB–Kafka 정합성과 장애 복구

문제

DB 저장과 Kafka 발행이 별도 단계라 한쪽만 성공하면 상태가 어긋납니다.

CHECKED

발행 실패 시점의 트랜잭션 경계와 Outbox 상태를 로그로 추적했습니다.

선택

송금 요청과 Outbox 레코드를 같은 트랜잭션에서 커밋하고, 별도 릴레이가 Kafka로 발행합니다. 미발행 상태 이벤트를 주기적으로 조회해 재발행하는 스케줄러를 추가했습니다.

선택 이유

DB 커밋을 단일 진실 원본으로 삼으면 Kafka 장애 시에도 미발행 이벤트를 이후에 재발행할 수 있습니다.

TRADE-OFF

발행이 즉시가 아닌 근사 실시간이 되고, 릴레이·스케줄러라는 운영 요소가 늘어납니다.

VERIFIED

Kafka를 의도적으로 중단한 뒤 복구 시 이벤트가 재발행되는지 확인했습니다.

동시 송금 충돌

문제

같은 계좌에 동시 송금이 들어오면 갱신 손실이 발생할 수 있습니다.

선택

계좌 잔액 갱신에 Optimistic Lock을 적용하고 충돌 시 제한적으로 재시도합니다.

선택 이유

충돌 빈도가 높지 않은 구조에서 비관적 락보다 처리량 저하가 작다고 판단했습니다.

TRADE-OFF

충돌이 잦아지면 재시도 비용이 커지므로 재시도 횟수와 실패 처리 정책이 필요합니다.

VERIFIED

동시 송금 100건을 실행한 뒤 최종 잔액 합계가 초기 상태와 일치하는지 검증했습니다.

중복 소비와 멱등성

문제

재시도·중복 발행 상황에서 같은 송금이 두 번 반영될 수 있습니다.

선택

서비스단 상태 검증과 복합 유니크 키 제약을 함께 적용해 멱등성을 확보했습니다.

선택 이유

애플리케이션 검증만으로는 경합을 완전히 막기 어려워 DB 제약을 최종 방어선으로 두었습니다.

TRADE-OFF

제약 위반을 정상 흐름으로 처리하는 예외 처리 코드가 필요합니다.

04

검증과 한계

검증

  • 동시 송금 100건을 실행한 뒤 최종 잔액 합계가 초기 상태와 일치하는지 검증했습니다.
  • Kafka 중단·복구 시나리오에서 미발행 이벤트가 재발행되는지 확인했습니다.

한계

  • 검증은 로컬·테스트 환경 기준이며 대규모 트래픽에서의 성능은 별도 측정이 필요합니다.
  • 외부 시스템 실패에 대한 보상 처리는 Saga 구조의 토대만 마련한 단계입니다.
05

확인 가능한 자료