NVIDIA DGX B200

NVIDIA Blackwell GPU 8장을 탑재하며 FP8 기준 학습 72 PFLOPS, FP4 기준 추론 144 PFLOPS를 제공합니다. GPU 간 연결은 NVSwitch 2기를 통해 14.4TB/s의 all-to-all 대역폭으로 구성됩니다. NVIDIA는 DGX H100과 비교해 학습 3배, 추론 15배 수준을 제시하며, 이 수치는 GPT-MoE-1.8T 모델을 기준으로 한 예상치입니다. 실제 처리량은 모델 구조와 배치 설정, 네트워크 구성에 따라 달라집니다.

GPU 메모리는 총 1,440GB이고 HBM3e 메모리 대역폭은 시스템 합산 64TB/s입니다. 호스트는 Intel Xeon Platinum 8570 2소켓 구성으로 총 112코어, 기본 2.1GHz에 최대 4GHz까지 동작하며 시스템 메모리는 2TB 기본에 4TB까지 구성할 수 있습니다. 스케일아웃 네트워크는 OSFP 4포트에 단일 포트 ConnectX-7 VPI 8장으로 최대 400Gb/s를 지원하고, 듀얼포트 BlueField-3 DPU 2장이 최대 400Gb/s를 추가로 담당합니다. 스토리지는 OS용 1.9TB NVMe M.2 2개와 내장 3.84TB NVMe U.2 8개이며, 관리망은 10Gb/s RJ45 온보드 NIC, 100Gb/s 듀얼포트 이더넷 NIC, RJ45 BMC로 나뉩니다.

최대 소비전력은 약 14.3kW이고 10RU 랙마운트 폼팩터입니다. 치수는 높이 444mm, 폭 482.2mm, 길이 897.1mm로 길이가 900mm에 가까워 랙 깊이와 후면 케이블 관리 공간을 함께 확인해야 합니다. 동작 온도 범위는 5~30°C로 상한이 30°C이므로 랙 흡기 온도 관리가 필요합니다. 노드를 여러 대 넣는 경우 랙당 전력 용량과 배기 경로가 실제 집적도를 제한하는 경우가 많으므로 시설 조건을 먼저 확인하는 것이 좋습니다.

학습과 추론을 한 장비에서 함께 돌리고 400Gb/s 스케일아웃 네트워크로 충분한 규모의 조직에 맞습니다. 더 큰 GPU 메모리 풀이나 포트당 800Gb/s ConnectX-8 기반 스케일아웃이 필요하면 DGX B300 쪽이 요구를 더 잘 맞춥니다. 상시 학습 수요 없이 모델 실험과 로컬 추론이 주 용도라면 DGX Spark 같은 데스크톱형 장비로 시작하고 필요할 때 확장하는 편이 비용 부담이 적습니다. 기존 H100 클러스터를 운영 중이라면 GPU 교체와 함께 네트워크 세대와 스토리지 대역폭이 병목이 되지 않는지 함께 검토해야 합니다.