NVIDIA L40S 48GB

연산 유닛은 CUDA 코어 18,176개, 3세대 RT 코어 142개, 4세대 Tensor 코어 568개로 구성된다. FP32 성능은 91.6 TFLOPS이고 RT 코어 성능은 212 TFLOPS다. Tensor Core는 TF32 183 TFLOPS(희소성 적용 366), BFLOAT16과 FP16 각 362.05 TFLOPS(희소성 적용 733), FP8 733 TFLOPS(희소성 적용 1,466), INT8과 INT4 733 TOPS(희소성 적용 1,466)를 낸다. Ada 세대이므로 FP8까지 지원하고 FP4는 지원하지 않는다. FP64 배정밀도는 이 제품군의 목적이 아니므로 HPC 계산 용도로는 적합하지 않다.

메모리는 48GB GDDR6에 ECC가 적용되고 대역폭은 864GB/s다. HBM3e 계열의 수 TB/s급과 비교하면 낮지만, 40GB 안팎의 모델 추론이나 대용량 3D 씬 처리에는 충분한 용량을 확보한다. 인터페이스는 PCI Express Gen4 x16(양방향 64GB/s)이며 NVLink는 지원하지 않으므로, 여러 장을 쓰더라도 GPU 간 통신은 PCIe를 통해 이뤄진다. MIG 분할도 지원하지 않는 대신 vGPU 소프트웨어를 지원해 가상 워크스테이션 형태로 여러 사용자에게 배분할 수 있다. 미디어 엔진은 NVENC 3개와 NVDEC 3개를 갖췄고 AV1 인코딩과 디코딩을 모두 처리한다.

최대 소비전력은 350W이고 보조 전원은 16핀 커넥터를 쓴다. 폼팩터는 높이 4.4인치, 길이 10.5인치의 이중폭이며 방열은 패시브다. 카드에 자체 팬이 없으므로 서버 섀시가 만드는 기류가 필요하고, 워크스테이션 섀시에는 그대로 넣을 수 없다. DisplayPort 1.4a 출력 4개를 갖추고 있어 이 목록의 다른 제품과 달리 화면 출력이 가능하다는 점이 특징이다. Secure Boot와 Root of Trust를 지원하고 NEBS Ready Level 3 등급을 충족한다.

서버 선택 폭은 600W급보다 훨씬 넓다. 이중폭 PCIe Gen4 x16 슬롯과 16핀 보조 전원만 제공되면 되므로, 엑스디노드가 취급하는 MSI·GIGABYTE·Advantech 서버 중 GPU 확장형 4U 모델은 물론 이중폭 카드를 수용하는 2U GPU 서버에도 대응하는 경우가 많다. 다만 패시브 방열이라 서버용 섀시가 전제이며, 여러 장을 조밀하게 배치할수록 슬롯 간 기류 확보가 중요해진다. NVLink가 없으므로 카드 간 간격이나 브리지 슬롯 배치를 신경 쓸 필요는 없고, 대신 GPU 수만큼 16핀 케이블이 확보되는지 확인하면 된다. 4장 구성 시 GPU만 1.4kW 수준이라 전력 계획도 상대적으로 단순하다.

중소형 모델 추론, 파인튜닝, 3D 렌더링과 시각화, Omniverse 계열 시뮬레이션, 대량 영상 트랜스코딩, RTX 가상 워크스테이션처럼 AI와 그래픽이 섞인 워크로드에 맞는다. 반대로 70B급 이상 대형 모델을 단일 카드에 올려야 하거나 GPU 간 고속 통신이 필요한 다중 GPU 학습이라면 NVLink와 HBM을 갖춘 H100 NVL·H200 NVL이 맞고, FP64 위주의 과학계산은 A100 쪽이 적합하다. 전력과 슬롯이 더 빠듯한 환경이라면 72W 싱글슬롯의 L4가 대안이 된다. 구성과 수량에 따라 조건이 달라지므로 엑스디노드로 별도 문의하면 된다.