NVIDIA H200

연산 성능은 NVIDIA 공식 사양표 기준 FP64 30 TFLOPS, FP64 Tensor Core 60 TFLOPS, FP32 60 TFLOPS다. Tensor Core 성능은 희소성 적용 기준으로 TF32 835 TFLOPS, BFLOAT16과 FP16이 각각 1,671 TFLOPS, FP8 3,341 TFLOPS, INT8 3,341 TOPS다. Hopper 세대의 Transformer Engine이 FP8 정밀도를 처리하며, Blackwell 세대에서 도입된 FP4는 지원하지 않는다. 부스트 클럭은 1,785MHz, 베이스 클럭은 1,230MHz다.

메모리는 141GB HBM3e에 6,016비트 버스폭, 실측 대역폭 4,813GB/s다. 이 용량 덕분에 70B급 파라미터 모델을 단일 카드에서 FP8로 적재할 여지가 생기고, KV 캐시 여유가 늘어 동시 처리 배치 크기를 키울 수 있다. 인터페이스는 PCI Express Gen5 x16(128GB/s)이며 Gen5 x8, Gen4 x16 모드로도 동작한다. 다중 카드 구성에서는 2-way 또는 4-way NVLink 브리지로 GPU당 900GB/s를 확보할 수 있어, PCIe만 쓰는 구성보다 GPU 간 통신 병목이 줄어든다. MIG로 최대 7개 인스턴스로 하드웨어 격리 분할이 가능하고, SR-IOV는 32 VF를 지원한다.

전력과 발열 조건이 도입 판단의 핵심이다. TDP는 기본 최대 600W(구성 가능)이며, 전력 컴플라이언스 한계 350W, 최소 200W로 조정할 수 있다. 보조 전원은 PCIe 16핀(12VHPWR) 커넥터 1개를 사용한다. 방열은 패시브 방식이라 카드 자체에 팬이 없고, 서버 섀시가 만들어 주는 전면 흡기 기류에 전적으로 의존한다. 폼팩터는 풀하이트·풀렝스(FHFL) 10.5인치 이중폭이며, 보드 단품 무게는 약 1,217g이다.

장착 가능한 서버 조건을 먼저 확인해야 한다. 카드 1장당 이중폭 PCIe Gen5 x16 슬롯과 16핀 보조 전원 케이블이 필요하므로, 엑스디노드가 취급하는 MSI·GIGABYTE·Advantech 서버 중에서도 GPU 확장을 전제로 설계된 4U/5U PCIe 서버 또는 NVIDIA MGX 기반 시스템이 대상이 된다. 600W 카드가 패시브 방열이라는 점 때문에 고정압 팬과 전면 직진 기류를 갖춘 GPU 전용 섀시가 사실상 필수이며, 범용 2U 랙서버 라이저에는 장착할 수 없다고 보는 편이 안전하다. NVLink 브리지를 쓸 계획이라면 브리지가 요구하는 슬롯 간격이 확보되는 백플레인인지 함께 확인해야 한다. 8장 구성 시 GPU만으로 4.8kW를 소비하므로 PSU 총용량과 이중화 방식, 랙 단위 배전 용량까지 같이 산정해야 한다.

LLM 파인튜닝과 대규모 추론 서비스, 메모리 대역폭이 병목이 되는 HPC 시뮬레이션처럼 141GB 용량과 4.8TB/s 대역폭이 직접 성능으로 연결되는 워크로드에 맞는다. 반대로 워크로드가 40GB 이하 모델의 추론에 머물거나 그래픽·렌더링 비중이 크다면 L40S가, 소비 전력과 슬롯 여유가 제한적인 엣지·범용 서버라면 L4가 더 합리적인 선택이 된다. FP4 정밀도나 최신 세대 NVLink가 요구 조건에 포함돼 있다면 Blackwell 세대 제품을 함께 비교해야 한다. 구성과 수량, 서버 조합에 따라 조건이 달라지므로 엑스디노드로 별도 문의하면 요건에 맞춘 구성 제안을 받을 수 있다.