NVIDIA L4 24GB

연산 성능은 FP32 30.3 TFLOPS이며, Tensor Core는 희소성 적용 기준 TF32 120 TFLOPS, FP16과 BFLOAT16 각 242 TFLOPS, FP8 485 TFLOPS, INT8 485 TOPS를 낸다. Ada 세대이므로 FP8까지 지원하고 FP4는 지원하지 않는다. 미디어 엔진은 NVENC 2개, NVDEC 4개, JPEG 디코더 4개로 구성돼 있고 AV1 코덱을 지원한다. 디코더가 인코더보다 많다는 구성에서 알 수 있듯이 대량 영상 스트림 입력을 받아 AI로 분석하는 파이프라인에 무게가 실려 있다. GPU 클럭은 베이스 795MHz, 부스트 2,040MHz다.

메모리는 24GB GDDR6에 192비트 버스폭, 메모리 클럭 6,251MHz로 대역폭은 300GB/s다. 24GB는 7B~13B급 모델을 양자화해 올리거나 비전 모델을 다수 상주시키기에 적당한 용량이며, 그 이상 규모에는 부족하다. 인터페이스는 PCI Express Gen4 x16이고 Gen4 x8, Gen3 x16 모드로도 동작해 구형 서버와의 호환 폭이 넓다. NVLink와 MIG는 지원하지 않는 대신 SR-IOV와 vGPU 15.2 이상을 지원해 가상 데스크톱·가상 워크스테이션 형태의 분배가 가능하다. 디스플레이 출력 단자는 없으므로 화면 출력은 vGPU를 통한 원격 방식으로만 이뤄진다.

전력은 기본 72W, 최대 72W, 최소 40W다. 보조 전원 케이블이 필요 없어 PCIe 슬롯 전력만으로 동작하며, 이 점이 서버 구성에서 가장 큰 이점이다. 방열은 패시브이고 폼팩터는 하프하이트·하프렝스 싱글슬롯(HHHL-SS)으로 길이 약 169mm, 높이 약 69mm다. 보드 무게는 약 270g으로 가볍고, 풀하이트와 하프하이트 브래킷이 모두 제공돼 1U와 2U 섀시 양쪽에 대응한다.

서버 장착 조건이 이 목록에서 가장 완화돼 있다. 보조 전원 커넥터가 필요 없고 싱글슬롯이므로, 엑스디노드가 취급하는 MSI·GIGABYTE·Advantech 서버 중 GPU 전용 섀시가 아닌 범용 1U/2U 랙서버의 라이저 슬롯에도 장착할 수 있다. 한 서버에 1~8장 구성이 가능해 GPU 밀도를 슬롯 수만큼 올릴 수 있고, 8장을 채워도 GPU 총 전력이 576W 수준이라 기존 PSU 여유 안에서 소화되는 경우가 많다. 다만 패시브 방열인 것은 동일하므로 라이저 위치의 기류가 확보되는지, 서버 벤더의 GPU 지원 목록에 포함돼 있는지는 확인해야 한다. 낮은 전력과 짧은 길이 덕분에 엣지 사이트나 통신 캐비닛처럼 공간·전력이 제한된 환경에도 배치할 수 있다.

실시간 영상 분석, 대량 트랜스코딩, 소형·중형 모델의 추론 서빙, 가상 데스크톱, 엣지 AI 추론에 맞는다. 반대로 모델 학습이나 24GB를 넘는 모델 적재, FP64 계산이 필요하다면 이 제품으로는 감당되지 않으므로 L40S 48GB 이상 또는 H100·H200 계열을 검토해야 한다. 그래픽 렌더링 성능이 핵심이라면 RT 코어와 DisplayPort 출력을 갖춘 L40S가 더 맞는 제품이다. 서버 모델별 장착 가능 수량과 리드타임이 다르므로 엑스디노드로 별도 문의하면 확인해 드린다.