DB가 잠깐 느려진 뒤 멈추지 않는 주문 장애
금요일 저녁 세일 중 주문 DB가 4분간 느려졌다가 돌아왔습니다. 그런데 주문 실패는 멈추지 않고 오히려 늘어납니다. 무엇이 장애를 붙잡고 있는지 찾아 끊어 내세요.
PAGE · 19:31 KST
주문 실패율 34%요청 3배 (3,400 rps)
상황
금요일 저녁 세일이 한창입니다. 19:20쯤 주문 DB 응답이 몇 분간 느려졌고, DB는 19:24에 정상으로 돌아온 것처럼 보입니다. 그런데 주문 API 실패율은 내려가지 않고 오르고 있습니다. 오늘 배포는 없었습니다.
명령은 선택지로 고릅니다. 행동할 때마다 가상 시간이 흐르고, 결과는 그 순간의 시스템 상태에 따라 달라집니다.
목표
- 주문 실패를 멈춘다(완화)
- 장애를 붙잡고 있는 원인을 밝히고 근본 수정한다
- 지표를 확인하고 해결을 선언한다
- 관련 팀에 상황을 공유한다
다루는 기술
원인이 사라진 뒤에도 계속되는 장애(재시도 폭풍) 읽기커넥션 풀 × 파드 수 vs DB 연결 한도트래픽 3배를 공격으로 오인하지 않기폭풍을 먼저 멈추고 고친 버전은 그다음
결과는 서버가 판정합니다. 원인과 모범 경로는 끝난 뒤에 보입니다.
진행 방식
- 선택지로 행동관찰·조치·소통 중에서 고릅니다. 각 행동에는 실제 명령과 가상 소요 시간이 붙어 있습니다.
- 행동할 때만 흐르는 시계읽고 생각하는 시간은 공짜입니다. 대신 행동마다 시간이 들고, 그 사이에도 에러와 영향은 쌓입니다.
- 가설 보드지금 생각하는 원인을 하나 고정하고 근거를 한 줄 남깁니다. 근거가 된 관찰 뒤에 세운 가설이 점수를 받습니다.
- 위험한 조치는 확인되돌리기 어려운 조치는 실행 전에 한 번 더 묻습니다. 효과 없이 위험만 큰 조치는 안전 점수가 깎입니다.
- 해결 선언과 회고지표가 정상일 때만 해결됩니다. 선언 뒤 재발 방지 항목을 고르면 디브리프가 열립니다.
- 100점 + 회고 보너스진단 30 · 완화 25 · 안전 20 · 확인 15 · 소통 10, 회고 +5. 등급 S·A·B·C·D.