ImagePullBackOff일 때 확인해야 할 4가지

대표 증상

ImagePullBackOff일 때 확인해야 할 4가지 상황은 하나의 설정값만 틀린 문제가 아니라 배포 경계, 런타임 상태, 캐시, 권한, 네트워크 경로가 함께 어긋났을 때 자주 나타납니다. 검색으로 들어온 사용자는 먼저 증상을 좁혀야 하므로, 이 가이드는 ImagePullBackOff 원인, ErrImagePull, registry authentication, imagePullSecret, mutable tag drift, private registry timeout을 먼저 어떻게 점검하는지 찾는 검색 의도를 겨냥합니다.를 기준으로 처음 확인할 신호를 정리합니다.

초반에는 재시작이나 전체 롤백부터 시도하기보다 영향 범위가 한 노드, 한 Pod, 한 job, 한 사용자, 한 경로에만 묶여 있는지 확인해야 합니다. 범위가 좁으면 최근 변경과 오래 남은 상태를 비교하고, 범위가 넓으면 공통 의존성부터 확인하는 편이 안전합니다.

먼저 확인할 신호

가장 먼저 볼 것은 오류 메시지의 마지막 줄이 아니라 같은 실패가 반복되는 경계입니다. pull access denied, manifest unknown, x509 on registry, proxy timeout during image pull 같은 신호를 기준으로 문제를 묶으면 로그가 길어져도 원인 후보를 줄일 수 있습니다.

• ErrImagePull과 ImagePullBackOff 이벤트 메시지를 그대로 확인합니다.
• 태그 오타인지, mutable latest drift인지, digest 불일치인지 먼저 구분합니다.
• imagePullSecret과 registry credential scope를 확인합니다.
• 노드에서 registry 경로가 실제로 열리는지 DNS/프록시/방화벽 경로를 같이 확인합니다.

로그와 CLI 예시

아래 명령은 정답을 바로 알려주는 명령이 아니라, 원인을 좁히기 위한 첫 관찰 지점입니다. 명령 결과를 복사해 두고 정상 시점 또는 같은 역할의 정상 리소스와 비교하면 재시도만 반복하는 시간을 줄일 수 있습니다.

kubectl describe pod <pod> -n <namespace>
kubectl logs <pod> -n <namespace> --previous

흔한 오진

운영 장애에서 가장 위험한 패턴은 증상 이름을 원인으로 착각하는 것입니다. 같은 timeout, permission denied, rollout failure라도 실제 원인은 캐시, 권한 상속, Secret 범위, 오래된 클라이언트 연결, 프록시 헤더처럼 다른 층에 있을 수 있습니다.

• 노드 네트워크 경로를 보기 전에 무조건 secret만 다시 만드는 것
• 태그가 존재한다고 믿고 digest나 registry project 경로를 확인하지 않는 것

안전한 복구 순서

복구는 가장 작은 단위에서 시작합니다. 먼저 읽기 전용 확인으로 현재 상태를 고정하고, 그다음 영향이 제한된 리소스에서 변경을 검증합니다. 서비스 전체 재시작, 캐시 전체 삭제, 보안 정책 완화처럼 되돌리기 큰 조치는 원인 후보가 좁혀진 뒤에 선택해야 합니다.

• ImagePullBackOff는 이미지가 없어서만 발생하지 않습니다. 권한, 태그 변경, registry trust 문제도 자주 섞여 있습니다.
• latest 같은 mutable tag를 쓰는 팀은 rollback과 pull 실패가 한꺼번에 엮이는 경우가 많습니다.

재발 방지

장애가 끝난 뒤에는 원인 한 줄보다 “왜 그 상태가 오래 남았는지”를 기록해야 합니다. 배포 파이프라인, 런타임 reload, 권한 상속, 인증서 갱신, 네트워크 정책처럼 자동화와 운영 절차 사이에 빈틈이 있었는지 확인합니다.

Kubernetes Config and Rollouts, Certificate Chain And Trust, CrashLoop and Restarts, AWS, CKA 허브와 함께 보면 같은 증상을 다른 환경에서도 다시 점검할 수 있습니다.

관련 InfraTree 문제

아래 문제들은 이 가이드의 내용을 실제 시나리오로 연습하기 위한 공개 문제입니다. 글을 읽은 뒤 한 문제만 풀어도 신호를 먼저 나누고 복구 방향을 문장으로 정리하는 연습을 할 수 있습니다.

• Job이 끝나지 않는 배치 워크로드에서 backofflimit 해석하기
• StatefulSet PVC가 Pending에 머물며 롤아웃이 멈추는 문제
• Deployment selector를 바꿨더니 ReplicaSet이 새 Pod를 잡지 못하는 문제
• DaemonSet rolls out everywhere except tainted nodes