Prometheus
Prometheus 환경에서 일어나는 장애 문제 59개를 모았습니다.
먼저 읽을 가이드
추천 문제
모든 문제 59개
K8S-1498HPA가 메트릭 상승을 보고도 끝내 스케일하지 않음메트릭 어댑터와 Prometheus 백엔드의 query step을 조정한 뒤에만 오토스케일링이 멈춥니다.Kubernetes중급10분ProK8S-1489HPA가 부하 상승을 보고도 스케일을 거부겉보기엔 정상인 deployment 이름 변경과 메트릭 어댑터 갱신 뒤에만 오토스케일링이 멈춥니다.Kubernetes중급10분ProK8S-1508HPA가 수요는 보는데 끝내 스케일하지 않음Prometheus에는 수요 증가가 보이는데 어댑터 query-step을 조정한 뒤 오토스케일링이 멈춥니다.Kubernetes중급10분ProK8S-1562Prometheus remote-write 경로가 적체되는데 HPA는 계속 한산한 트래픽을 읽음remote-write 스로틀링이 시작될 때만 HPA가 둔하게 반응합니다.Kubernetes중급10분ProK8S-1502Prometheus remote-write 경로는 비워지는데 shard 하나가 계속 지연게이트웨이 갱신이 HTTP 헤더 정규화를 바꾼 뒤 remote-write shard 하나만 뒤처집니다.Kubernetes중급10분ProK8S-1492Prometheus remote-write 큐는 비워지는데 shard 하나가 계속 지연게이트웨이 변경이 HTTP 헤더 대소문자를 정규화한 뒤 remote-write shard 하나만 계속 뒤처집니다.Kubernetes중급10분ProK8S-1482Prometheus 규칙 리로드는 성공을 보고하는데 알림 하나가 옛 상태로 남음Prometheus 규칙 reload가 성공한 뒤에도 shard 하나가 계속 옛 경보 표현식을 발동합니다.Kubernetes중급10분ProK8S-1552Prometheus 규칙은 발동하는데 HPA가 계속 유휴recording rule을 조정한 뒤 저volume 워크로드에서만 오토스케일링이 멈춥니다.Kubernetes중급10분ProK8S-1512메트릭 어댑터는 정상이라고 보고하는데 HPA가 계속 스케일하지 않음메트릭 스택의 scrape 간격을 조정한 뒤에만 HPA가 멈춥니다.Kubernetes중급10분ProK8S-1522메트릭 어댑터는 정상이라고 보고하는데 HPA가 계속 평평한 상태메트릭 scrape 간격을 조정한 뒤에야 오토스케일링이 멈춥니다.Kubernetes중급10분ProK8S-1532메트릭 어댑터는 정상이라고 보고하는데 HPA가 계속 평평함메트릭 scrape 간격을 조정한 뒤에야 오토스케일링이 멈춥니다.Kubernetes중급10분ProK8S-1467Grafana Agent Flow 파이프라인이 네임스페이스 하나를 중복 처리Grafana Agent Flow 정리로 pod와 서비스 디스커버리 블록을 합친 뒤 네임스페이스 하나가 메트릭을 이중 계산하기 시작합니다.Kubernetes중급11분ProK8S-1451HPA가 커스텀 메트릭으로 스케일을 멈춤어댑터 설정을 다시 로드한 뒤 워크로드 하나에서만 커스텀 메트릭 스케일링이 실패합니다.Kubernetes중급11분ProK8S-1441post-render 단계가 그 네임스페이스에서만 release label을 제거해 PodMonitor가 테넌트 하나와 매칭되지 않게 됨타깃은 정상인데 렌더된 네임스페이스 하나가 더는 PodMonitor selector를 만족하지 않습니다.Kubernetes중급11분ProK8S-1421Prometheus Operator 롤아웃이 워크로드 하나를 수집하지 않음공통 Helm post-render 단계를 도입한 뒤 다른 네임스페이스는 정상 scrape되는데 네임스페이스 하나만 메트릭이 사라집니다.Kubernetes중급11분ProK8S-1431Prometheus Operator 업그레이드가 워크로드 하나를 어둡게 둠Helm post-renderer를 배포한 뒤 다른 네임스페이스는 정상 scrape되는데 테넌트 하나가 모니터링을 잃습니다.Kubernetes중급11분ProK8S-1411네임스페이스 이전 후 Prometheus 수집 대상이 사라짐네임스페이스 이전은 성공했는데, 다른 네임스페이스의 ServiceMonitor는 잘 도는 채로 앱 하나가 조용히 모니터링에서 빠집니다.Kubernetes중급11분ProK8S-1401Prometheus Operator 업그레이드는 정상으로 보이는데 ServiceMonitor 하나가 수집을 멈춤ServiceMonitor manifest 자체는 유효해 보이는데 Prometheus 스택 업그레이드 후 워크로드 하나의 메트릭이 사라집니다.Kubernetes중급12분ProK8S-1677HPA 메트릭이 보이는데 autoscaler 하나가 계속 0으로 읽음메트릭 이름을 갱신한 뒤에도 autoscaler가 계속 0으로 읽습니다.Kubernetes중급9분Pro