NVIDIA A16: quad-GPU met 64 GB voor VDI – uitvoeringen vergeleken

Virtuele desktops zonder GPU voelen voor eindgebruikers vaak traag aan zodra Teams, een browser met veel tabbladen of een CAD-viewer wordt geopend. De NVIDIA A16 is ontworpen om precies dat probleem op te lossen: één PCIe-kaart met vier losse Ampere-GPU's en in totaal 64 GB GDDR6, bedoeld om zo veel mogelijk VDI-gebruikers per server van hardwareversnelling te voorzien.

In dit serie-overzicht zet Beat-it.nl de beschikbare uitvoeringen van de A16 naast elkaar: de referentiekaart van NVIDIA zelf, de servergekwalificeerde varianten van HPE en Lenovo en de uitvoeringen van PNY en ASUS. Centraal staat de NVIDIA A16 Passive PCIe 64GB (900-2G171-0000-100). U leest wat de kaart technisch onderscheidt, hoe de vGPU-profielen werken en welke uitvoering bij welke serveromgeving past.

Wat is de NVIDIA A16 en voor wie is hij bedoeld?

De NVIDIA A16 is een datacenter-GPU op basis van de NVIDIA Ampere-architectuur, specifiek gebouwd voor grafisch rijke virtual desktop infrastructure (VDI) met hoge gebruikersdichtheid. Volgens de datasheet van NVIDIA bevat de kaart niet één, maar vier fysieke GPU's op één printplaat. Elke GPU beschikt over 16 GB GDDR6 met ECC, 1280 CUDA-cores, 40 Tensor-cores van de derde generatie en 10 RT-cores van de tweede generatie. Samen levert dat 64 GB framebuffer op één dual-slot kaart.

De doelgroep is helder: organisaties die met NVIDIA Virtual PC (vPC) kantoorwerkplekken virtualiseren, met NVIDIA RTX Virtual Workstation (vWS) instap-workstations voor bijvoorbeeld CAD aanbieden, of beide combineren. NVIDIA geeft aan dat de A16 tot 64 gelijktijdige gebruikers per kaart ondersteunt en in vergelijking met de vorige generatie M10 een verdubbeling van de gebruikersdichtheid biedt. Daarnaast noemt de productbrief van NVIDIA videotranscodering als secundaire toepassing, omdat de kaart in totaal vier NVENC-encoders en acht NVDEC-decoders aan boord heeft, inclusief AV1-decodering.

Belangrijk om te weten: de A16 is een passief gekoelde kaart. Volgens de productbrief van NVIDIA heeft de koeling systeemluchtstroom nodig en is de kaart bedoeld voor rackservers waarvan de fabrikant de kaart thermisch heeft gekwalificeerd. Een A16 is dus geen kaart voor een werkstation of een tower zonder gerichte airflow.

De uitvoeringen van de NVIDIA A16 vergeleken

Alle uitvoeringen in de tabel zijn technisch dezelfde A16-kaart: vier GPU's, 64 GB GDDR6, PCIe Gen4 x16, 250 W en passieve koeling. Het verschil zit in wie de kaart levert, voor welke servers de kaart is gekwalificeerd en of de kaart met of zonder CEC-beveiligingschip wordt geleverd. Dat laatste lichten we onder de tabel toe.

Schuif de tabel opzij voor alle kolommen.

CEC en non-CEC: wat betekent dat?

Bij de HPE- en Lenovo-uitvoeringen ziet u de toevoeging "non-CEC" of "w/o CEC". Volgens de productgids van Lenovo is de CEC een secundaire hardware root-of-trust-module die een extra beveiligingslaag toevoegt voor organisaties met zware regelgeving of hoge beveiligingseisen. De primaire root of trust zit in de GPU zelf en volstaat volgens Lenovo voor de meeste klanten. Kaarten zonder CEC-chip ondersteunen nog steeds Secure Boot, beveiligde firmware-updates, bescherming tegen firmware-rollback en het uitschakelen van in-band firmware-updates. Wat ontbreekt zonder CEC, zijn key revocation en firmware-attestatie. Lenovo geeft bovendien aan dat CEC- en non-CEC-kaarten van hetzelfde type bij uitbreidingen gemengd mogen worden.

Uitgelicht: NVIDIA A16 Passive PCIe 64GB (900-2G171-0000-100)

De NVIDIA A16 Passive PCIe 64GB is de uitvoering van NVIDIA zelf en daarmee de referentie voor de hele serie. De kaart heeft een full-height, full-length formaat van 10,5 inch, neemt twee slots in beslag en wordt gevoed via één 8-pins CPU-stroomconnector. Het maximale bordvermogen is 250 W; de productbrief van NVIDIA noemt daarnaast een MaxQ-instelling van 235 W voor maximale prestaties per watt en een ondergrens van 195 W.

De specificaties per kaart, volgens de datasheet van NVIDIA:

• GPU's: 4x GA107 op basis van NVIDIA Ampere, basisklok 1312 MHz, boostklok 1755 MHz
• Geheugen: 4x 16 GB GDDR6 met ECC (standaard ingeschakeld), 4x 200 GB/s bandbreedte, 128-bits bus per GPU
• Rekenkracht: 4x 4,5 TFLOPS FP32; 4x 17,9 TFLOPS FP16; 4x 35,9 TOPS INT8 (waarden met structural sparsity liggen een factor twee hoger)
• Video: 4 NVENC-encoders en 8 NVDEC-decoders, H.265 encode/decode, VP9- en AV1-decodering
• Interface: PCIe Gen4 x16, met ondersteuning voor Gen3 x16
• Virtualisatie: SR-IOV met 16 virtual functions per GPU; geen MIG-ondersteuning
• Software: NVIDIA vGPU 13.0 of hoger, driver R470 of hoger, CUDA 11.4 of hoger
• Betrouwbaarheid: bedrijfstemperatuur 0 tot 50 °C, NEBS Level 3-gereed, bidirectioneel koellichaam voor airflow in beide richtingen

De API-ondersteuning omvat volgens NVIDIA DirectX 12.07, OpenGL 4.68 en Vulkan 1.18 voor grafische toepassingen, plus CUDA, DirectCompute, OpenCL en OpenACC voor compute. FP64 is niet van toepassing: de A16 is nadrukkelijk geen HPC-kaart.

Toepassingen en scenario's

Kantoorwerkplekken via VDI (NVIDIA vPC)

Dit is het primaire doel van de A16. In de Virtual PC Best Practices-handleiding beschrijft NVIDIA de A16 als de aanbevolen GPU voor kenniswerkers die kantoorapplicaties, streaming video en Windows 10 draaien. Daarbij worden de profielen A16-1B (1 GB framebuffer) en A16-2B (2 GB) gebruikt, met als richtlijn 4 vCPU's en 4 tot 6 GB werkgeheugen per virtuele machine. Volgens de sizing guide van NVIDIA kon één server met vier A16-kaarten in hun test 128 virtuele machines bedienen, waar dezelfde configuratie met vier T4-kaarten op 64 bleef. De keuze tussen het 1B- en 2B-profiel hangt vooral af van de schermresolutie en het aantal monitoren per gebruiker.

Instap-workstations (NVIDIA RTX vWS)

Met RTX vWS-software worden grotere Q-profielen beschikbaar, van A16-1Q tot A16-16Q. Volgens NVIDIA maakt dit betaalbare virtuele workstations mogelijk voor workloads zoals CAD. Omdat elke fysieke GPU zijn eigen profieltype kan krijgen, kunt u bijvoorbeeld twee GPU's inzetten voor 32 kantoorgebruikers en de andere twee voor acht ontwerpers met 4 GB per sessie. Voorwaarde volgens de documentatie van NVIDIA is wel dat alle vGPU's op één en dezelfde fysieke GPU hetzelfde profiel hebben.

Videotranscodering en applicatiestreaming

Met vier encoders en acht decoders per kaart noemt NVIDIA de A16 als de kaart met de hoogste encoder-/decoderdichtheid in een dual-slot formaat. Dat maakt de kaart geschikt voor multi-stream transcodering en voor sessiegebaseerde applicatiestreaming met NVIDIA vApps, bijvoorbeeld in Citrix- of RDSH-omgevingen.

Compute buiten kantooruren

NVIDIA wijst erop dat ongebruikte VDI-capaciteit met NVIDIA AI Enterprise of Virtual Compute Server kan worden ingezet voor compute-workloads. Houd daarbij de verhoudingen in het oog: per GPU gaat het om 1280 CUDA-cores en 16 GB, wat de A16 geschikt maakt voor inferentie en lichtere taken, niet voor het trainen van grote modellen.

Beheer, software en licenties

Een A16 werkt alleen zinvol in combinatie met NVIDIA vGPU-software. NVIDIA ondersteunt op de A16 alle edities: Virtual PC (vPC), Virtual Applications (vApps), RTX Virtual Workstation (vWS), Virtual Compute Server (vCS) en NVIDIA AI Enterprise. Die software wordt apart gelicentieerd; uit de productgids van Lenovo blijkt dat vPC, vApps en vWS per gelijktijdige gebruiker (concurrent user, CCU) worden geteld, als abonnement of als perpetual licentie met supportjaren, terwijl AI Enterprise per GPU wordt gelicentieerd.

De vGPU-profielen bepalen hoeveel gebruikers u per kaart kwijt kunt. De NVIDIA vGPU-gebruikershandleiding geeft per fysieke GPU de volgende maxima, die u voor de hele kaart met vier vermenigvuldigt:

De A16 werkt volgens de NVIDIA-handleiding in time-sliced modus: de GPU-rekentijd wordt verdeeld over de vGPU's op dezelfde fysieke GPU, terwijl het framebuffer per vGPU vast is toegewezen. Dat verschilt van MIG op bijvoorbeeld de A100 of H100, waarbij de GPU hardwarematig wordt opgedeeld. Voor VDI is time-slicing de gebruikelijke en doorgaans efficiëntere aanpak, omdat niet alle gebruikers tegelijk de GPU belasten.

Voor het beheer op serverniveau wordt de kaart via nvidia-smi uitgelezen en biedt NVIDIA volgens de productbrief SMBus/SMBPBI-toegang voor out-of-band monitoring, zodat de BMC van de server (zoals HPE iLO of Lenovo XClarity) temperatuur en vermogen kan bewaken. De firmware ondersteunt UEFI, en Secure Boot met hardware root of trust zit in elke uitvoering, met of zonder CEC.

Keuzehulp: welke A16-uitvoering past bij uw server?

Omdat de hardware identiek is, draait de keuze om ondersteuning, garantieafhandeling en inkoopbeleid:

• HPE ProLiant-omgeving: kies de HPE R8T26C of P48409-001. HPE geeft aan dat NVIDIA-accelerators voor HPE thermisch, mechanisch en elektrisch in de server worden gekwalificeerd, en de QuickSpecs noemen expliciet de ondersteunde modellen en CPU-generaties. De R8T26CR is de HPE Renew-variant van dezelfde optie.
• Lenovo ThinkSystem of ThinkAgile: de Lenovo 4X67A76727 wordt volgens Lenovo Press geleverd met een 3U-bracket en staat in de productgidsen van onder meer de SR650 V2, SR665 en de ThinkAgile HX650 V3, met maximaal drie kaarten per server en de bijbehorende hulpvoedingskabelkits.
• Merkonafhankelijke of gemengde omgeving: de NVIDIA A16 Passive PCIe 64GB van NVIDIA zelf, of de uitvoeringen van PNY en ASUS. Controleer in dat geval zelf de compatibiliteitslijst van uw serverfabrikant: niet elke server levert voldoende airflow voor een passieve 250 W-kaart en niet elk PCIe-slot biedt een 8-pins CPU-stroomaansluiting.
• Hoge beveiligingseisen: heeft uw organisatie firmware-attestatie of key revocation nodig, controleer dan of u een uitvoering met CEC-chip nodig heeft. Volgens de productbrief van NVIDIA herkent u de variant aan het 900-nummer op de achterzijde van de kaart of via nvidia-smi -q.

Bij het dimensioneren geldt een eenvoudige vuistregel uit de sizing guide van NVIDIA: begin bij het vGPU-profiel dat past bij de schermresolutie en het aantal monitoren van uw gebruikers, reken van daaruit terug naar het aantal kaarten en controleer vervolgens of CPU en werkgeheugen van de server het aantal virtuele machines aankunnen.

Veelgestelde vragen over de NVIDIA A16