Nvidia Minerva moet GPU’s bij 81 procent bedrijven beter benutten

AI-context. 55 van de 68 ondervraagde bedrijven die AI al in productie draaien, meldden een GPU-benutting van 50 procent of minder. Dertien bedrijven meldden een hogere bezetting. 71 procent van de bedrijven met een lage bezetting plant binnen twaalf maanden een nieuw platform. Voor alle 102 ondervraagden samen ligt dat op 63 procent. Slechts 10 procent liet de return on investment van de AI-infrastructuur controleren door de financiële afdeling. Bron is VentureBeat Intelligence.

Nvidia Minerva jaagt op het zwakste schakel in de GPU-keten

Een AI-fabriek draait op duizenden onderdelen die voortdurend samenwerken. Een kapotte kabel of een oververhitte chip kan een volledige trainingsrun vertragen. Vaak zonder duidelijke waarschuwing vooraf. Traditionele tools splitsen het datacenter op in losse schermen voor netwerk, rekenkracht, betrouwbaarheid en machine learning. Minerva voegt die schermen samen in een grafiek. Die grafiek koppelt GPU’s, SuperNIC’s, schakelaars, kabels en taken aan elkaar.

Het platform analyseert miljarden metingen per uur met gecontroleerde en ongecontroleerde modellen. Zo leert het normaal gedrag kennen en signaleert het onbekende afwijkingen. Het voorspelt storingen voordat ze een hele run stilleggen. Een stortvloed aan losse meldingen wordt gebundeld tot een incident met een waarschijnlijke oorzaak. Operators krijgen daarbij een eigen AI-assistent. Die assistent geeft in gewone taal antwoord op vragen over de actuele telemetrie. Dat kost anders geld en tijd.

IREN gebruikt Minerva al in zijn datacenters. “Minerva geeft ons operationele team een overzicht over het netwerk, de GPU’s en de taken die erop draaien”, zegt technisch directeur Denis Skrinnikoff. Hij noemt het maximaliseren van de productiviteit van de GPU’s de kern van de zaak. Precies daar legt het eigen onderzoek van Nvidia de vinger op de wond.

Europese datacenters dragen dezelfde rekensom

GTC Berlin zette Europa deze week op het podium van Nvidia’s AI-agenda. Europese datacenters vallen onder de herziene EU-richtlijn energie-efficiëntie. Wie minstens 500 kilowatt aan IT-vermogen draait, moet jaarlijks de eigen PUE en andere energiecijfers rapporteren. De sector streeft zelf naar een PUE van 1,4 via het Climate Neutral Data Centre Pact. De cijfers liegen niet.

In Nederland speelt een extra knelpunt, het stroomnet zelf. Een impactanalyse van Berenschot voor de provincie Noord-Holland concludeert dat nu nog maar 1 procent van de geplande bouwprojecten haalbaar is, en in het meest optimistische scenario 43 procent. Netbeheerders rekenen op congestie tot minstens 2033 of 2036. Een GPU die voor de helft stilstaat, verbruikt daar schaarse netcapaciteit zonder er iets voor terug te geven.

Nvidia wees eerder al op de energiekosten in zijn Europese AI-fabrieken. Het bedrijf investeert ook in nieuwe Vera Rubin-chips voor Google Cloud en in chipsubstraten bij Samsung. Minerva maakt nu zichtbaar wat die investeringen opleveren. Niet nieuwe chips, maar een betere benutting van de chips die er al staan.

Veelgestelde vragen

Wat is Nvidia Minerva?

Minerva is een AIOps-platform van Nvidia dat telemetrie van GPU’s, netwerk, opslag en planners samenvoegt in een grafiek. Het platform spoort de bottleneck op die een trainingsrun vertraagt. Nvidia noemt die maatstaf AI factory yield, opgebouwd uit GPU-uren, bedrijfstijd en geproduceerde tokens.

Welke bedrijven gebruiken Nvidia Minerva?

IREN gebruikt het platform al in productie. Dell, Lenovo en Supermicro bouwen Minerva in hun eigen AI-fabrieken in. IBM, Tesla, Jio, Lambda, Bitdeer AI en Aolani staan gepland als volgende klanten.

Hoeveel bedrijven benutten hun GPU’s voor minder dan de helft?

Van de 68 bedrijven die al AI in productie draaien, meldden 55 bedrijven een GPU-benutting van 50 procent of minder. Dat komt neer op 81 procent van die groep.