Zadara가 NVIDIA 클라우드 제공업체(NCP)가 멀티 테넌트 추론 클라우드를 위한 NVIDIA 소프트웨어 참조 아키텍처를 구현할 수 있도록 지원하는 방법을 살펴보는 블로그 시리즈의 두 번째 글에 오신 것을 환영합니다. 이 글에서는 NVIDIA의 고성능 이더넷 네트워킹 플랫폼인 Spectrum-X를 중점적으로 살펴보고, Zadara가 Spectrum-X를 활용하여 확장 가능한 멀티 테넌트 AI 인프라의 요구를 충족하는 안전한 테넌트별 GPU 네트워킹을 제공하는 방법을 설명합니다.
AI 클라우드에서 고성능 네트워킹의 역할
최신 AI 워크로드, 특히 생성 및 추론 기반 애플리케이션을 구동하는 워크로드는 고도로 분산되고 통신 집약적입니다. 여러 GPU 노드에서 대규모 언어 모델을 학습하든, 엄격한 지연 시간 제약 하에서 실시간 추론을 제공하든, 네트워킹 성능은 컴퓨팅 및 메모리만큼 중요해집니다.
NVIDIA Spectrum-X는 최신 클라우드 환경에서 NVIDIA GPU의 성능과 효율성을 극대화하도록 최적화된 엔드 투 엔드 이더넷 네트워킹 플랫폼입니다. 여기에는 다음이 포함됩니다.
- Spectrum-4 이더넷 스위치: 컴팩트한 2U 폼팩터에 최대 64개의 800GbE 포트를 제공하는 Spectrum-4는 업계 최고 수준인 초당 51.2테라비트(Tb/s)의 총 처리량을 제공합니다. 스마트 리프, 스파인, 슈퍼 스파인 계층에서 사용하도록 설계된 이 스위치는 확장 가능한 고성능 AI 네트워크 패브릭 구축의 기반이 됩니다.
- BlueField-3 SuperNIC: 이 고급 네트워크 가속기는 GPU 서버 간에 최대 400GbE RoCE 연결을 제공하여 NVIDIA GPUDirect® RoCE가 AI 워크로드 효율성을 극대화할 수 있도록 지원합니다. 직접 데이터 배치(DDP), 순차적 패킷 전송 및 향상된 원격 측정 기능을 지원하여 분산형 AI 애플리케이션 전반에서 일관된 저지연성과 높은 처리량 성능을 보장합니다.
Spectrum-X는 RoCE(Remote Direct Memory Access over Converged Ethernet)를 활용하여 대역폭 효율성을 개선하고 워크로드 격리를 강화합니다. 혼잡 방지를 위한 RoCE 적응형 라우팅, 원격 측정 기반 혼잡 제어, 그리고 테넌트 간 일관된 동작을 유지하기 위한 성능 격리 기능을 통합합니다. 적절한 설정을 통해 Spectrum-X는 확장 가능하고 고성능의 AI 네트워킹을 보장합니다.
AI 멀티테넌트 환경에서 자동 네트워크 관리가 중요한 이유는 무엇일까요? 멀티테넌트 AI 클라우드에서는 네트워크 격리 및 테넌트 간 일관된 성능 유지가 매우 중요합니다. Spectrum-X는 안전하고 효율적인 멀티테넌트 운영을 지원하는 데 필요한 핵심 기능을 제공합니다.
- 교통 격리: 세입자 트래픽을 엄격하게 분리하여 주변 소음을 방지하고 다중 세입자 AI 환경에서 보안을 극대화합니다.
- 서비스 품질(QoS) 및 공정한 스케줄링: 각 테넌트가 서비스 수준 계약(SLA)을 유지하는 데 중요한 일관된 네트워크 성능을 받을 수 있도록 보장합니다.
그러나 이러한 기능을 활용하려면 "NVD HGX 시스템을 활용한 AI 클라우드 구축에 최적화된 Spectrum-X 컴퓨팅 네트워크 패브릭 가이드"에 자세히 설명된 대로 정밀한 스위치 구성이 필요합니다. 멀티 테넌트 클라우드 환경에서는 GPU 리소스가 테넌트 간에 할당 및 재할당됨에 따라 이러한 구성이 실시간으로 조정되어야 합니다. 변화하는 테넌트 토폴로지에 맞춰 스위치 설정을 동적으로 자동 조정하지 않으면 리소스 프로비저닝 및 확장이 수동적이고 오류가 발생하기 쉬우며, 사용자가 최신 클라우드에서 기대하는 온디맨드 환경과 상충됩니다.
Zadara의 장점: Spectrum-X 지원을 위한 기능 확장 Zadara 플랫폼 아키텍처는 오랫동안 안전한 멀티테넌트 클라우드 운영을 지원해 왔으며, Spectrum-X의 고성능 및 트래픽 격리 기능을 최대한 활용할 수 있도록 새로운 기능을 추가했습니다. Zadara는 컴퓨팅 리소스 배치에 기반한 GPU 간 네트워킹의 프로비저닝 및 오케스트레이션을 자동화하여 NVIDIA 클라우드 제공업체(NCP)가 최신 멀티테넌트 AI 클라우드를 구축할 때 Spectrum-X 도입을 간소화합니다.
- 네트워크 인식 멀티 테넌트 디자인: Zadara 플랫폼은 소프트웨어 정의 네트워킹(SDN)과 테넌트 격리를 통합합니다. VRF를 자동으로 할당하고 스위치 포트를 적절한 VRF에 할당하여 Spectrum-X의 세부적인 제어 기능과의 호환성을 보장합니다. 이러한 설계는 GPU 네트워킹 패브릭 전반에서 안전하고 자동화되며 효율적인 멀티 테넌트 운영을 지원합니다.
- GPU-Net: Zadara의 투명한 정책 기반 GPU 네트워킹 Zadara는 Spectrum-4와 호환되고 NVIDIA 참조 아키텍처에 맞춰진 백엔드 스위칭 패브릭을 통해 GPU-Net의 배포 및 수명 주기 관리를 자동화합니다. GPU-Net은 Zadara의 가상 프라이빗 클라우드(VPC) 모델을 확장하여 가상 머신 간에 전용 동서 GPU 통신 경로를 제공합니다. 이러한 경로는 사용자 구성 없이 자동으로 프로비저닝됩니다. 동일한 VPC 내에 있는 VM만 GPU 트래픽을 교환할 수 있으므로 높은 처리량, 낮은 지연 시간 및 안전한 통신이 보장됩니다. 스위칭 패브릭은 API를 통해 동적으로 프로그래밍되므로 Zadara는 테넌트 토폴로지 변경 사항을 실시간으로 반영할 수 있습니다.
- 규모에 따른 일관된 낮은 지연 시간: Zadara의 오케스트레이션은 GPU-Net 구성 및 가상 머신 배치를 Spectrum-X의 레일 그룹 토폴로지에 지능적으로 맞춰 NVIDIA의 결정론적 성능 모범 사례를 준수합니다. 이를 통해 테넌트의 확장 또는 축소 시에도 일관되고 지연 시간이 짧은 동서 GPU 통신이 보장되어 처리량을 유지하고 혼잡을 방지합니다.
유연한 GPU 인프라: Zadara는 NCP(네트워크 제어 패널)의 추가 작업 없이도 다양한 테넌트에 동적으로 GPU 리소스를 할당할 수 있도록 지원합니다. NCP는 클라우드에서 GPU 노드를 쉽게 추가하거나 제거할 수 있으며, Zadara의 제어 패널은 테넌트에 대한 GPU 리소스 프로비저닝, 노드 및 리소스 전용 할당, 할당량 적용을 자동으로 처리합니다. 특히 이 블로그 주제와 관련하여 중요한 점은 GPU 트래픽이 네트워크를 통해 효율적으로 라우팅되면서 최적의 리소스 활용률을 유지한다는 것입니다.
결론 :
고성능 네트워킹은 확장 가능하고 안전하며 예측 가능한 멀티 테넌트 AI 클라우드 인프라의 기반입니다. NVIDIA Spectrum-X는 GPU 데이터 이동의 표준을 제시하지만, 멀티 테넌트 사용 사례에는 상당한 오케스트레이션 및 관리 오버헤드가 발생합니다. Zadara는 실제 멀티 테넌트 환경에서 NCP 환경 내에서 이러한 기능을 구현하는 소프트웨어 플랫폼과 오케스트레이션 계층을 제공합니다.
향후 게시물에서는 Zadara가 BlueField-3 및 기타 NVIDIA 기술에 대한 지원을 어떻게 확장하는지 살펴보겠습니다. 여기에는 AI 클라우드 인프라의 가상화, 격리 및 보안에 대한 고려 사항이 포함됩니다.
