NVIDIA RTX PRO 6000 Blackwell Server Edition

Blackwell 아키텍처 기반으로 CUDA 코어 24,064개, 5세대 Tensor 코어 752개, 4세대 RT 코어 188개를 탑재한다. Tensor 연산 성능은 FP4 4 PFLOPS, FP8 2 PFLOPS, FP16/BF16 1 PFLOPS, TF32 234 TFLOPS로 공시되어 있으며 단정밀도(FP32)는 120 TFLOPS다. RT 코어 성능은 355 TFLOPS로, 같은 카드에서 레이트레이싱 렌더링까지 처리할 수 있다. FP4와 FP8을 하드웨어에서 지원하므로 양자화된 LLM 추론에서 메모리 점유와 연산량 양쪽의 이득을 볼 수 있다. 인코딩·디코딩은 9세대 NVENC 4개와 6세대 NVDEC 4개를 갖춰 비디오 파이프라인도 GPU에서 처리된다.

메모리는 96GB GDDR7 ECC, 512-bit 인터페이스에 최대 1,597GB/s 대역폭이다. 워크스테이션 에디션의 1,792GB/s보다 낮게 설정되어 있으므로 대역폭에 민감한 워크로드에서는 이 차이를 계산에 넣어야 한다. MIG로 한 장을 최대 4개의 격리된 인스턴스(각 24GB)로 나눌 수 있어 그래픽과 AI 작업을 동시에 돌리거나 사용자별로 분리 할당하는 운용이 가능하다. 호스트 인터페이스는 PCI Express 5.0 x16이며 NVLink는 지원하지 않으므로 다중 GPU 간 통신은 PCIe 경로를 따르고 메모리는 카드별로 분리된다. DisplayPort 2.1b 출력이 물리적으로 4개 있으나 서버 용도 특성상 기본 비활성 상태로 출고된다.

최대 소비전력은 600W이며 구성에 따라 400~600W 범위로 설정할 수 있다. 팬이 없는 완전 패시브 카드라서 냉각을 서버 섀시 팬이 만드는 풍압에 전적으로 의존한다. 따라서 타워 케이스나 일반 워크스테이션에 그대로 꽂아 쓸 수 없고, GPU 장착이 검증된 랙마운트 서버가 전제 조건이다. 카드를 4장 이상 집적할 때는 카드당 450W 수준으로 전력 상한을 낮춰 섀시의 전력·발열 예산에 맞추는 방식이 실제 서버 제조사 구성 가이드에서 사용된다.

장착 서버는 듀얼 슬롯 폭의 풀하이트·풀렝스(4.4×10.5인치) PCIe Gen5 x16 슬롯을 확보한 모델이어야 한다. 엑스디노드가 취급하는 MSI·GIGABYTE·Advantech 서버 중 GPU 집적형 랙마운트 라인이 대상이며, 카드당 600W를 감당하려면 슬롯 폭뿐 아니라 PSU 용량과 섀시 에어플로 설계를 함께 확인해야 한다. NVIDIA MGX 기반 시스템 기준으로는 4U 공랭 섀시와 6U 액랭 섀시에 최대 8장 구성이 정의되어 있고, 액랭 SKU는 싱글 슬롯 FHXL 폼팩터로 별도 제공된다. 실제 장착 가능 수량은 서버 모델의 라이저 구성, PSU 용량, 상면 전력에 따라 달라지므로 서버와 GPU를 묶어 검토하는 편이 안전하다.

여러 사용자와 여러 종류의 워크로드를 한 서버에 태워야 하는 조직에 맞는다. 추론 서비스와 렌더 팜, 가상 워크스테이션을 각각 다른 장비로 나눠 두던 환경을 MIG와 vGPU로 통합할 때 특히 효율이 난다. 반대로 책상 옆 워크스테이션에서 개인이 쓸 목적이라면 액티브 냉각을 갖춘 워크스테이션 에디션이나 Max-Q 쪽이 맞다. 수백 GB 파라미터를 단일 GPU 메모리에 올려야 하거나 GPU 간 초고속 상호연결이 필수인 대규모 사전학습이라면 HBM과 NVLink를 갖춘 데이터센터 GPU를 검토해야 한다.