배포 직후 결제 API 5xx 급증
새 버전 배포 7분 뒤 결제 API 5xx가 18%로 치솟았습니다. 온콜 SRE로서 결제 실패를 멈추고 원인을 밝혀 해결까지 이끄세요.
PAGE · 14:05 KST
payment-api 5xx 18%p95 1.8s (평소 220ms)
상황
당신은 이번 주 온콜 SRE입니다. 7분 전(13:58) Argo CD가 payment-api v2.15.0을 운영에 배포했습니다. 평일 오후 결제 피크(분당 1,200건)라 실패가 그대로 매출 손실로 이어집니다.
명령은 선택지로 고릅니다. 행동할 때마다 가상 시간이 흐르고, 결과는 그 순간의 시스템 상태에 따라 달라집니다.
목표
- 결제 실패를 멈춘다(완화)
- 원인을 밝히고 근본 수정한다
- 지표를 확인하고 해결을 선언한다
- 관련 팀에 상황을 공유한다
다루는 기술
CrashLoopBackOff 원인 좁히기GitOps(Argo CD) 환경의 롤백완화 먼저, 근본 수정은 그다음인시던트 선언과 공유
결과는 서버가 판정합니다. 원인과 모범 경로는 끝난 뒤에 보입니다.
진행 방식
- 선택지로 행동관찰·조치·소통 중에서 고릅니다. 각 행동에는 실제 명령과 가상 소요 시간이 붙어 있습니다.
- 행동할 때만 흐르는 시계읽고 생각하는 시간은 공짜입니다. 대신 행동마다 시간이 들고, 그 사이에도 에러와 영향은 쌓입니다.
- 가설 보드지금 생각하는 원인을 하나 고정하고 근거를 한 줄 남깁니다. 근거가 된 관찰 뒤에 세운 가설이 점수를 받습니다.
- 위험한 조치는 확인되돌리기 어려운 조치는 실행 전에 한 번 더 묻습니다. 효과 없이 위험만 큰 조치는 안전 점수가 깎입니다.
- 해결 선언과 회고지표가 정상일 때만 해결됩니다. 선언 뒤 재발 방지 항목을 고르면 디브리프가 열립니다.
- 100점 + 회고 보너스진단 30 · 완화 25 · 안전 20 · 확인 15 · 소통 10, 회고 +5. 등급 S·A·B·C·D.