NVIDIA A100 80GB

GA100 다이는 108개 SM에 6,912개 FP32 CUDA 코어와 432개 3세대 Tensor 코어를 담고 있다. 연산 성능은 FP64 9.7 TFLOPS, FP64 Tensor Core 19.5 TFLOPS, FP32 19.5 TFLOPS다. Tensor Core는 TF32 156 TFLOPS(희소성 적용 312), BFLOAT16과 FP16 각 312 TFLOPS(희소성 적용 624), INT8 624 TOPS(희소성 적용 1,248)를 낸다. Hopper 이후 세대의 FP8과 Blackwell의 FP4는 지원하지 않으므로, FP8 기반 추론 최적화를 전제로 한 워크로드에는 맞지 않는다. GPU 클럭은 베이스 1,065MHz, 부스트 1,410MHz다.

메모리는 80GB HBM2e에 5,120비트 버스폭, 메모리 클럭 1,512MHz로 최대 1.94TB/s 대역폭을 제공한다. 인터페이스는 PCI Express 4.0 x16(64GB/s)으로, Gen5가 아니라는 점이 최신 세대와의 명확한 차이다. NVLink는 인접한 A100 80GB 카드 1장과만 연결할 수 있고, 브리지 3개를 모두 장착해야 600GB/s가 나온다. MIG는 최대 7개 인스턴스(인스턴스당 10GB)로 하드웨어 격리 분할을 지원해, 한 장을 여러 사용자에게 나눠 주는 운영에 활용된다.

전력은 기본 300W, 최대 300W, 최소 150W다. 보조 전원은 CPU 8핀 커넥터 1개를 사용하는데, 최근 세대가 쓰는 16핀과 다르므로 서버가 제공하는 케이블 종류를 확인해야 한다. 방열은 패시브이며 폼팩터는 FHFL 10.5인치 이중폭이다. 디스플레이 커넥터는 없어 모니터를 연결하는 용도로는 쓸 수 없다. 보드 단품 무게는 약 1,170g이다.

서버 조건은 최신 세대보다 완만하다. 300W·PCIe Gen4 x16·CPU 8핀 조합이라, GPU 확장형 4U 서버뿐 아니라 이중폭 카드를 수용하는 일부 2U GPU 서버에도 들어갈 여지가 있다. 엑스디노드가 취급하는 MSI·GIGABYTE·Advantech 서버 중 A100 세대를 검증한 모델을 기준으로 구성하면 되고, PCIe Gen5 백플레인이 아니어도 성능 손실 없이 동작한다. 다만 패시브 방열이라는 점은 동일하므로 전면 흡기 기류를 갖춘 서버 섀시가 필요하고, 데스크톱 워크스테이션 섀시에는 장착할 수 없다. NVLink로 묶을 계획이라면 인접 슬롯 2장 단위로 배치하고 이중 CPU 서버에서는 같은 CPU 도메인 아래에 두는 것이 좋다.

FP64 비중이 큰 과학계산·시뮬레이션, 이미 A100 기반으로 검증된 파이프라인의 증설, MIG로 다수 사용자에게 GPU를 분할해 제공하는 사내 공용 환경에 적합하다. 반대로 LLM 추론에서 FP8 최적화를 쓰거나 70B급 모델을 단일 카드에 올려야 한다면 H100 NVL 94GB나 H200 NVL 141GB가 맞는 선택이다. 영상 인코딩·렌더링·가상 워크스테이션이 주 용도라면 RT 코어와 AV1 인코더를 갖춘 L40S가 낫다. 재고와 리드타임이 구성마다 달라지므로 엑스디노드로 별도 문의하면 확인해 드린다.