NVIDIA H100 94GB

연산 성능은 NVIDIA 공식 사양표 기준 FP64 30 TFLOPS, FP64 Tensor Core 60 TFLOPS, FP32 60 TFLOPS다. Tensor Core는 희소성 적용 기준 TF32 835 TFLOPS, BFLOAT16과 FP16 각 1,671 TFLOPS, FP8 3,341 TFLOPS, INT8 3,341 TOPS를 낸다. 4세대 Tensor Core와 Transformer Engine이 FP8 혼합 정밀도를 처리하며, FP4는 지원하지 않는다. GPU 클럭은 베이스 1,080MHz, 부스트 1,785MHz다.

메모리는 94GB HBM3, 버스폭 6,016비트, 메모리 클럭 2,619MHz로 실측 대역폭 3,938GB/s다. ECC가 활성화돼 있고, MIG로 최대 7개 인스턴스(인스턴스당 12GB)까지 하드웨어 격리 분할이 가능하다. 인터페이스는 PCI Express Gen5 x16(128GB/s)이며 Gen5 x8, Gen4 x16 모드도 지원한다. 다중 GPU 구성에서는 NVLink 브리지 3개를 모두 사용해 인접한 카드 1장과 연결하면 양방향 600GB/s를 얻는데, 이는 PCIe Gen4의 약 10배에 해당한다. 브리지는 반드시 3개를 모두 장착해야 정상 대역폭이 나오며, 이중 CPU 서버에서는 두 카드가 같은 CPU 도메인 아래에 있는 것이 유리하다.

전력은 16핀 케이블이 450W 또는 600W 모드로 결선된 경우 기본 최대 400W, 전력 컴플라이언스 한계 310W, 최소 200W로 동작한다. 300W 모드로 결선하면 기본 최대가 310W가 된다. NVIDIA 데이터시트는 이를 350~400W 구성 가능으로 표기한다. 보조 전원은 PCIe 16핀(12V-2x6) 커넥터 1개를 사용하고, 방열은 패시브라 섀시 기류가 필요하다. 폼팩터는 FHFL 10.5인치 이중폭이며 보드 무게는 약 1,214g, NVLink 브리지는 개당 20.5g이다.

서버 선정 시 확인할 점은 H200 NVL과 유사하되 전력 요건이 낮다는 것이다. 카드당 이중폭 PCIe Gen5 x16 슬롯과 16핀 보조 전원이 필요하며, 400W급이라 600W급 카드보다 섀시 냉각 여유가 있는 편이다. 엑스디노드가 취급하는 MSI·GIGABYTE·Advantech 서버 가운데 GPU 확장형 4U/5U PCIe 서버가 표준적인 선택지이고, 파트너 및 NVIDIA-Certified Systems 기준으로 1~8 GPU 구성이 가능하다. NVLink 브리지를 사용하려면 짝수 장 구성과 인접 슬롯 배치가 전제되므로, 서버의 슬롯 간격과 라이저 배열을 미리 확인해야 한다. 8장 구성이면 GPU만 3.2kW 수준이므로 PSU 용량과 배전 계획을 함께 잡아야 한다.

70B 파라미터급까지의 LLM 추론, RAG 파이프라인, 중형 모델 파인튜닝처럼 연산과 메모리가 모두 필요한 워크로드에 맞는다. 같은 연산 성능에서 더 큰 메모리가 필요하다면 141GB의 H200 NVL이, 예산과 전력 여유가 제한적이고 검증된 CUDA 생태계면 충분하다면 A100 80GB가 대안이 된다. 그래픽 파이프라인이나 RT 코어가 필요한 렌더링·시각화 업무라면 H100 계열이 아니라 L40S가 맞는 제품이다. 구성과 수량에 따라 조건이 달라지므로 엑스디노드로 별도 문의하면 된다.