NVIDIA L4 Tensor Core GPU 24GB: AI-inferencing in 72 watt
De NVIDIA L4 Tensor Core GPU 24GB GDDR6 (MPN 900-2G193-0000-001) is een datacenter-accelerator die is ontworpen voor AI-inferencing, videoverwerking en virtuele werkplekken. De kaart is passief gekoeld, past in één PCIe-slot en heeft een maximaal stroomverbruik van 72 watt. Daarmee is het een van de weinige GPU's die u in een standaard 1U- of 2U-server kunt plaatsen zonder aanpassingen aan de voeding of koeling.
In deze spotlight behandelen we wat de L4 precies is, voor welke organisaties de kaart interessant is, welke specificaties ertoe doen en waar u op moet letten bij de inbouw in een bestaande server. De feiten in dit artikel komen uit de productdata van Beat-it.nl en de officiële documentatie van NVIDIA, aangevuld met de productgidsen van Lenovo en HPE.
Wat is de NVIDIA L4 en voor wie is deze bedoeld
De L4 is gebaseerd op de NVIDIA Ada Lovelace-architectuur en werd volgens NVIDIA tijdens GTC 2023 geïntroduceerd als opvolger van de populaire T4. Net als de T4 richt de L4 zich op zogeheten mainstream-deployments: servers waarin een GPU moet passen zonder dat er een speciaal GPU-chassis, extra voedingskabels of actieve koeling nodig zijn. De naam "Tesla L4" wordt in de praktijk nog veel gebruikt; NVIDIA zelf noemt de kaart officieel de NVIDIA L4 Tensor Core GPU.
De kaart is bedoeld voor organisaties die AI-modellen in productie willen draaien (inferencing), grote hoeveelheden video willen transcoderen of analyseren, of GPU-versnelde virtuele desktops en werkstations willen aanbieden. Denk aan IT-afdelingen van middelgrote bedrijven, zorg- en onderwijsinstellingen, mediabedrijven en edge-locaties waar ruimte en stroom beperkt zijn. Volgens de product brief van NVIDIA is de kaart NEBS-3 capable en geschikt voor veeleisende omgevingstemperaturen, wat de L4 ook bruikbaar maakt op locaties buiten het klassieke datacenter.
Belangrijkste kenmerken en specificaties
De onderstaande specificaties zijn afkomstig van de productpagina en de product brief van NVIDIA.
| Kenmerk | NVIDIA L4 |
|---|---|
| Architectuur | NVIDIA Ada Lovelace |
| GPU-geheugen | 24 GB GDDR6, 192-bit, ECC standaard ingeschakeld |
| Geheugenbandbreedte | 300 GB/s |
| FP32-prestaties | 30,3 teraFLOPS |
| TF32 Tensor Core | 120 teraFLOPS (met sparsity) |
| FP16 / BF16 Tensor Core | 242 teraFLOPS (met sparsity) |
| FP8 Tensor Core / INT8 | 485 teraFLOPS / 485 TOPS (met sparsity) |
| Video-engines | 2x NVENC, 4x NVDEC, 4x JPEG-decoder, AV1 encode en decode |
| GPU-kloksnelheid | Base 795 MHz, boost 2.040 MHz |
| Maximaal vermogen (TDP) | 72 W |
| Vormfactor | Half-height, half-length, single-slot (HHHL-SS), NVIDIA Form Factor 5.5 |
| Koeling | Passief, bidirectionele heatsink |
| Interface | PCIe Gen4 x16 (64 GB/s) |
| Software | CUDA 12.0 of later, drivers R525 of later, vGPU 15.2 of later |
| Virtualisatie | SR-IOV met 32 virtual functions |
| Conditie | Nieuw |
Schuif de tabel opzij voor alle kolommen.
Vierde generatie Tensor Cores met FP8
De Ada Lovelace Tensor Cores ondersteunen volgens NVIDIA naast FP16 en BF16 ook de 8-bit floating point-precisie (FP8) en structured sparsity. FP8 verlaagt de geheugendruk ten opzichte van grotere precisies, waardoor meer van het 24 GB-geheugen beschikbaar blijft voor het model en de context. NVIDIA geeft aan dat de L4 bij generatieve AI tot 2,5 keer hogere prestaties levert dan de vorige generatie (gemeten met Stable Diffusion v2.1 ten opzichte van de T4) en dat de 50 procent grotere geheugencapaciteit grotere afbeeldingen mogelijk maakt tot 1024x768.
Passieve koeling en 72 watt
De L4 heeft geen eigen ventilator en is afhankelijk van de luchtstroom in de server. Volgens de product brief van NVIDIA accepteert de heatsink luchtstroom in beide richtingen, wat de kaart geschikt maakt voor verschillende servermodellen. Het maximale bordvermogen is 72 W, met een minimum van 40 W. Volgens de productgids van Lenovo heeft de L4 geen extra voedingskabel nodig; de kaart wordt volledig via het PCIe-slot gevoed.
Hardware-engines voor video
Met twee encoders, vier decoders en vier JPEG-decoders is de L4 nadrukkelijk ook een videokaart in de letterlijke zin. NVIDIA meldt dat servers met L4-kaarten meer dan 1.000 gelijktijdige AV1-videostreams op 720p30 kunnen hosten (gemeten met acht L4-kaarten, low-latency P1-preset). AV1 wordt zowel voor encoderen als decoderen in hardware ondersteund.
Toepassingen
AI-inferencing in productie
De L4 is primair gebouwd om getrainde modellen uit te voeren: chatbots, documentclassificatie, spraakherkenning, beeldherkenning en kleinere taalmodellen. Volgens de documentatie van NVIDIA ondersteunt de kaart alle gangbare AI-frameworks en neurale netwerken binnen het NVIDIA AI-platform. In een edge-designguide van Cisco wordt het 24 GB-geheugen genoemd als de belangrijkste beperking bij modelkeuze; kleine modellen tot ongeveer 7 à 8 miljard parameters draaien daar comfortabel op met INT4-, INT8- of FP8-kwantisatie. Voor het trainen van grote modellen is de NVIDIA L4 niet bedoeld; daarvoor zijn accelerators met meer geheugen en NVLink geschikter.
Videotranscoding en video-analyse
Organisaties die veel video verwerken, zoals omroepen, streamingdiensten, beveiligingsbedrijven met camerabewaking of e-learningplatforms, profiteren van de hardware-encoders en -decoders. NVIDIA noemt als voorbeelden real-time transcoding, videoconferencing, AR/VR en vision AI. In combinatie met de CV-CUDA-bibliotheek claimt NVIDIA tot 120 keer hogere prestaties voor een volledige AI-videopipeline ten opzichte van een server met alleen CPU's (gemeten met acht L4-kaarten tegenover een dual-socket Intel-server).
Virtuele werkplekken en werkstations
De L4 ondersteunt NVIDIA vGPU-software (vPC, vApps en RTX Virtual Workstation). Volgens Lenovo biedt de kaart via SR-IOV ondersteuning voor virtual functions, waarmee één fysieke GPU over meerdere virtuele machines wordt verdeeld. Dat maakt de kaart geschikt voor VDI-omgevingen waar gebruikers CAD-, BIM- of ontwerpsoftware draaien, of waar kantoorapplicaties en videoconferencing GPU-versnelling nodig hebben. Let op: de L4 heeft geen display-aansluitingen en is niet bedoeld als grafische kaart in een losse desktop of workstation.
Edge-locaties
Door de low-profile vormfactor, het lage verbruik en het werktemperatuurbereik van 0 tot 50 °C (volgens de product brief van NVIDIA) past de L4 in compacte edge-servers in winkels, fabrieken, ziekenhuizen of distributiecentra, waar lokaal AI-inferencing op camerabeelden of sensordata gewenst is.
Waar u op let bij inbouw
- Luchtstroom: omdat de kaart passief is gekoeld, moet de server voldoende gerichte luchtstroom over het PCIe-slot leveren. Controleer bij de serverfabrikant of de L4 op de compatibiliteitslijst staat en welke ventilatorinstellingen of airflow-shrouds nodig zijn.
- Slot en bracket: de L4 is een half-height kaart. Houd rekening met de bracket die bij uw chassis past (full-height of low-profile).
- PCIe Gen4 x16: NVIDIA adviseert een Gen4 x16-aansluiting; Gen4 x8 en Gen3 x16 worden ook ondersteund, maar met lagere bandbreedte.
- Software: plan driverversie R525 of hoger en CUDA 12.0 of hoger. Voor vGPU is versie 15.2 of hoger nodig, met bijbehorende licenties.
- Beperkingen: volgens de Lenovo-productgids ondersteunt de L4 geen NVLink en geen Multi-Instance GPU (MIG). Wilt u meerdere kaarten koppelen of één GPU hardwarematig partitioneren, dan is een andere accelerator nodig.
Veelgestelde vragen over de NVIDIA L4
Past de NVIDIA L4 in een standaard 1U-server?
De kaart is half-height, half-length en single-slot en verbruikt maximaal 72 W via het PCIe-slot, zonder extra voedingskabel. Dat maakt de L4 geschikt voor veel 1U- en 2U-servers, mits de fabrikant van de server de kaart ondersteunt en de luchtstroom over het slot voldoende is.
Is de L4 geschikt voor het trainen van AI-modellen?
De L4 is ontworpen voor inferencing en kan volgens NVIDIA ook lichte training aan, maar met 24 GB geheugen, 300 GB/s bandbreedte en zonder NVLink is de kaart niet bedoeld voor het trainen van grote modellen. Voor productie-inferencing van kleinere modellen en video-AI is de kaart wel goed geschikt.
Kan ik de L4 gebruiken voor virtuele desktops (VDI)?
Ja. De L4 ondersteunt NVIDIA vGPU-software (vPC, vApps en RTX vWS) vanaf versie 15.2 en biedt SR-IOV-ondersteuning. Houd er rekening mee dat vGPU-licenties apart worden afgenomen en dat de kaart geen display-uitgangen heeft.
Wat is het verschil tussen de L4 en de T4?
NVIDIA positioneert de L4 als opvolger van de T4. De L4 is gebaseerd op Ada Lovelace in plaats van Turing, heeft 24 GB in plaats van 16 GB geheugen, ondersteunt FP8-precisie en AV1-encoding, en levert volgens NVIDIA tot 2,5 keer hogere prestaties bij generatieve AI. Het maximale verbruik van 72 W ligt iets boven de T4.
Heeft de L4 ECC-geheugen?
Ja. Volgens de product brief van NVIDIA is ECC standaard ingeschakeld op het GDDR6-geheugen en kan dit via software worden uitgeschakeld.
Advies en offerte
De NVIDIA L4 Tensor Core GPU 24GB GDDR6 is een logische keuze voor organisaties die AI-inferencing, video-analyse of GPU-versnelde virtuele werkplekken willen toevoegen aan bestaande servers, zonder een apart GPU-platform aan te schaffen. Twijfelt u of de kaart past in uw servermodel, of wilt u meerdere kaarten voor een inferencing-cluster? Bekijk het aanbod in onze categorie videokaarten of vraag een offerte aan. Onze specialisten adviseren u graag over compatibiliteit, aantallen en bijbehorende vGPU-licenties.