맹수자두의 개발로그

DCGM exrpoter에서 MIG된  인스턴스가 메트릭에서 어떻게 찍히는지 확인하기 위해서 nvidia A100이 설치된 on-premise server에서 테스트를 진행하였습니다. https://docs.nvidia.com/datacenter/cloud-native/gpu-telemetry/latest/dcgm-exporter.html DCGM Exporter — NVIDIA GPU Telemetry 1.0.0 documentationIn this scenario the DCGM nv-hostengine runs in a separate container on the same host making its client port available to DCGM-Exporter as well as dcgm..

개발/Kubernetes 2024. 7. 18. 15:41

DCGM exporter 를 배포했는데 위와 같은 에러가 발생했다. 나의 경우 다른 작업으로 인해서 containerd가 기존에 설치 되어 있었다. 하지만 local repo를 구성해서 낮은 docker 엔진을 사용하는 낮은 버전의 kubernets를 설치했어서 containerd 버전도 낮았고 ubuntu20.04에서 18.04 버전에 맞는 패키지버전이 설치되어있어서$ sudo nvidia-ctk runtime configure --rumtime=containerd# outputnvidia-ctk unrecognized runtime 'containerd'위와 같은 에러를 발생하면서 runtime 설정이 되지 않았다. 그래서 containerd를 업그레이드를 통해서 적절한 버전을 설치하고 runtime..

개발/Kubernetes 2024. 7. 18. 10:22