NVIDIA RTX PRO 5000 72GB Blackwell

연산부는 CUDA 코어 14,080개, 5세대 텐서 코어, 4세대 RT 코어로 구성된다. 부스트 클럭 기준 단정밀도(FP32) 성능은 65 TFLOPS, RT 코어 성능은 196 TFLOPS이며, AI 성능은 FP4·희소성 적용 유효치 기준 2,064 AI TOPS로 표기된다. 5세대 텐서 코어는 FP4 데이터 포맷을 지원해 같은 파라미터를 더 적은 메모리로 적재할 수 있다. 영상 워크로드용으로는 9세대 NVENC 3기와 6세대 NVDEC 3기를 갖추고 4:2:2 색상 포맷 인코딩·디코딩을 처리한다.

메모리는 GDDR7 72GB이며 ECC를 지원하고, 384-bit 인터페이스에서 1,344GB/s 대역폭이 나온다. 48GB 모델과 대역폭·연산 구성은 같고 용량만 1.5배이므로, 실제 차이는 용량이 병목이 되는 구간에서만 드러난다. MIG로 카드를 나눌 수 있어 최대 1x 72GB 또는 2x 36GB 인스턴스 구성이 가능하며, 한 장을 두 사용자·두 작업으로 격리해 배분할 수 있다. 시스템 연결은 PCIe 5.0 x16이고, NVIDIA 공식 사양표에는 NVLink 항목이 없어 다중 GPU 간 통신은 PCIe 경유를 전제로 설계해야 한다. DisplayPort 2.1b 출력 4개가 그대로 있어 서버 전용이 아닌 워크스테이션 겸용 배치도 가능하다.

총 보드 전력은 300W이고 보조 전원은 PCIe CEM5 16핀 커넥터 1개를 사용한다. 데이터시트에는 프로그래머블 파워 항목이 있어 nvidia-smi로 전력 상한을 350W까지 올릴 수 있으며, 이 설정은 드라이버가 다시 로드될 때마다 재적용해야 한다. 냉각은 액티브 방식이고 카드 크기는 높이 4.4인치, 길이 10.5인치, 이중 슬롯 풀하이트다. 섀시 쪽에서는 이중폭 FHFL 슬롯 공간과 16핀 케이블 확보, 카드 전면 흡기가 막히지 않는 배치가 함께 필요하다.

장착 대상 서버는 이중폭 FHFL PCIe Gen5 x16 슬롯을 제공하고 슬롯당 300W 이상을 공급할 수 있는 모델이어야 한다. 엑스디노드가 취급하는 MSI·GIGABYTE·Advantech 서버 중 GPU 확장을 전제로 설계된 기종이 여기에 해당하며, 600W급 RTX PRO 6000을 받도록 설계된 섀시라면 이 카드는 전력과 공간 양쪽에서 여유가 생긴다. 다만 이 카드는 액티브 블로워 방식이라, 패시브 서버 GPU를 전제로 한 고정압 팬 구성과는 궁합을 따로 확인해야 한다. RTX PRO 5000 계열에는 패시브 서버 에디션이 없으므로 랙 밀집 구성에서는 섀시별 지원 목록 확인이 먼저다. 어떤 섀시에 몇 장까지 올릴 수 있는지는 구성마다 달라 엑스디노드로 문의하면 된다.

메모리 용량 때문에 카드 수를 늘려 오던 조직에 맞는다. 70B급 모델을 양자화해 한 장에 올리려는 팀, 대형 씬 전체를 GPU 메모리에 적재해 렌더링하는 팀, 여러 사용자에게 36GB씩 나눠 주려는 팀이 대표적이다. 반대로 GPU 간 통신량이 큰 대규모 분산 학습이라면 NVLink와 HBM을 갖춘 데이터센터 GPU 쪽이 맞고, 이 카드는 PCIe 경유 통신이 상한으로 작용한다. 용량이 48GB로 충분하면 연산 성능이 같은 RTX PRO 5000 48GB가 합리적이고, 96GB가 필요하면 RTX PRO 6000으로 올라가는 편이 낫다. 랙 전력 예산이 200W대로 제한된 경우에는 RTX PRO 4500도 함께 검토 대상이다.