CNCF：HAMi, Incubating 프로젝트로 승격——Kubernetes AI 워크로드를 위한 GPU 가상화

GPU 가상화와 Kubernetes란 무엇입니까?

GPU 가상화는 하나의 물리적 GPU를 여러 논리적 공유 가능 단위로 분할하는 기술로, 서로 다른 애플리케이션이나 컨테이너가 독립적으로 사용할 수 있습니다. 가상화가 없다면 GPU 용량의 20%만 사용하는 AI 작업이 나머지 리소스를 차단합니다——이것이 리소스 단편화 문제로, 고가의 데이터 센터에 상당한 운영 비용을 초래합니다. Kubernetes는 컨테이너 오케스트레이션의 사실상 표준으로, 클러스터에서 컨테이너화된 애플리케이션의 배포, 확장, 관리를 자동화하는 시스템입니다. HAMi는 이 두 가지를 결합하여 GPU 가상화를 네이티브 Kubernetes 메커니즘으로 제공합니다.

Sandbox에서 Incubating으로：빠른 커뮤니티 성장

CNCF 기술 감독 위원회가 HAMi(Heterogeneous AI accelerator Management interface)의 Incubating 상태를 승인했습니다. 이는 프로젝트의 성숙도와 향후 CNCF 졸업을 향한 명확한 경로를 나타냅니다. 프로젝트는 2024년 8월 CNCF Sandbox에 합류했으며, 2년이 채 되지 않아 인상적인 커뮤니티를 구축했습니다. 프로덕션 환경에서 사용하는 550개 이상의 조직, 2,687명의 GitHub 기여자, 그리고 16개의 릴리스 버전입니다. 비교하자면, 많은 성숙한 CNCF 프로젝트들은 유사한 채택 규모에 도달하는 데 훨씬 더 오랜 시간이 필요했습니다.

기술 아키텍처와 통합

HAMi는 물리적 GPU를 공유 가능한 단위로 분할하여 리소스 단편화——공유 클러스터에서 다양한 AI 워크로드를 운영하는 조직의 주요 운영 과제 중 하나——를 직접 해결합니다. 각 작업이 GPU 전체를 요구하는 대신, HAMi는 실제 요구 사항에 따른 세분화된 용량 할당을 가능하게 합니다.

프로젝트는 AI 스케줄링에 특화된 두 CNCF 프로젝트와 통합됩니다: 배치 AI 및 ML 작업에 집중하는 Volcano와 이기종 클러스터에서 복잡한 다중 리소스 우선순위를 관리하는 Koordinator입니다. 이 세 프로젝트가 함께 Kubernetes 생태계 내 AI 인프라 관리를——작업 스케줄링부터 액셀러레이터의 물리적 할당까지——아우르는 일관된 스택을 형성합니다.

오픈소스 AI 인프라에 대한 의의

CNCF Incubating 상태는 HAMi에 더 높은 가시성, CNCF 인프라 접근권, 그리고 공식 보안 감사를 제공합니다. 도입을 검토하는 조직에게 CNCF 상태는 프로젝트가 지속 가능한 거버넌스 구조와 충분한 커뮤니티를 갖추고 있다는 독립적인 증명입니다. 클라우드 및 온프레미스 클러스터에서 AI 워크로드가 증가함에 따라, HAMi와 같이 고가의 GPU 리소스 활용도를 높이는 도구는 AI 시스템의 운영 경제성에서 점점 더 중요해지고 있습니다.