DNS 이전 후 한 리전만 장애
어젯밤 API 도메인을 새 로드밸런서로 옮겼고, 오늘 09:00 옛 로드밸런서를 껐습니다. 그 뒤로 동남아 사용자 절반만 접속하지 못합니다. 다른 리전은 멀쩡하고, 새 로드밸런서도 건강합니다.
PAGE · 09:15 KST
동남아 실패 55%한국·미국 정상
상황
당신은 이번 주 네트워크 온콜입니다. 어젯밤 23:00 api.travel.example을 옛 데이터센터 LB(203.0.113.10)에서 새 글로벌 LB(198.51.100.20)로 옮겼습니다(CHG-3118). 오늘 09:00에는 옛 LB를 멈췄고(CHG-3120 1단계), 09:40에는 옛 고정 IP 반납과 옛 LB 삭제가 자동으로 이어질 예정입니다. 09:05부터 동남아 사용자 예약 실패가 급증했습니다. 동남아는 전체 트래픽의 30%입니다.
명령은 선택지로 고릅니다. 행동할 때마다 가상 시간이 흐르고, 결과는 그 순간의 시스템 상태에 따라 달라집니다. 되돌리기 어려운 조치는 한 번 더 묻습니다.
목표
- 동남아 사용자의 접속을 되살린다(완화)
- 왜 한 리전만 실패하는지 밝힌다
- 이전 계획의 남은 단계가 상황을 악화시키지 않게 한다
- 지표를 확인하고 해결을 선언한다
다루는 기술
TTL은 '다음 캐시'부터 적용된다리졸버별로 전환 상태 확인하기되돌리기가 다른 리전을 깨뜨리는 경우예약된 변경 작업부터 멈추기
결과는 서버가 판정합니다. 원인과 모범 경로는 끝난 뒤에 보입니다.
진행 방식
- 선택지로 행동관찰·조치·소통 중에서 고릅니다. 각 행동에는 실제 명령과 가상 소요 시간이 붙어 있습니다.
- 행동할 때만 흐르는 시계읽고 생각하는 시간은 공짜입니다. 대신 행동마다 시간이 들고, 그 사이에도 에러와 영향은 쌓입니다.
- 가설 보드지금 생각하는 원인을 하나 고정하고 근거를 한 줄 남깁니다. 근거가 된 관찰 뒤에 세운 가설이 점수를 받습니다.
- 위험한 조치는 확인되돌리기 어려운 조치는 실행 전에 한 번 더 묻습니다. 효과 없이 위험만 큰 조치는 안전 점수가 깎입니다.
- 해결 선언과 회고지표가 정상일 때만 해결됩니다. 선언 뒤 재발 방지 항목을 고르면 디브리프가 열립니다.
- 100점 + 회고 보너스진단 30 · 완화 25 · 안전 20 · 확인 15 · 소통 10, 회고 +5. 등급 S·A·B·C·D.