Kog claimt dertig keer snellere AI-inferentie op standaard GPU’s

AI-context. Kog haalt 2.100 tokens per seconde op Nvidia H200 chips, tegen 3.000 op AMD MI300X. Dat staat in de technische blog van het bedrijf van 28 mei 2026. Het testmodel Laneformer telt 2,3 miljard parameters en staat open op Hugging Face. AMD zelf mat in juli 2025 al 3,5 keer meer snelheid dan vLLM en TensorRT-LLM. Bron, Kog Labs en AMD.

Hoe Kog AI-inferentie uit gewone GPU’s perst

Inferentie, het moment waarop een AI-model antwoord geeft, kost realtime rekenkracht. Kog bouwt geen eigen chips. Het bedrijf schrijft software die bestaande AMD- en Nvidia-GPU’s beter benut, en de kern heet Kog Inference Engine, afgekort KIE. Die voert het volledige decodeerproces van een taalmodel uit in een ononderbroken rekenkernel. Concurrerende software zoals vLLM schakelt tussen losse kernels, wat tijd kost, maar Kog slaat die overstap over. Het resultaat is 3.000 tokens per seconde bij een verzoek op acht MI300X-chips, meldt de blog van 28 mei 2026.

Het testmodel heet Laneformer en telt 2,3 miljard parameters, klein vergeleken met commerciele taalmodellen van honderden miljarden parameters. Delalleau noemt september als moment waarop Kog dezelfde snelheidswinst wil tonen op een extern taalmodel, groter dan het huidige testmodel. Pas dan volgt klanttractie. Een Series A volgt pas daarna, zegt hij. TechCrunch schrijft dat Kog al 200 zakelijke leads heeft. Een deel komt uit game- en app-ontwikkeling.

Klantnamen noemt Kog nog niet. Eerder al testte Kog dezelfde aanpak samen met AMD. Dat gebeurde in juli 2025, op acht MI300X-chips tegelijk, blijkt uit een blogpost van AMD. Die test leverde 3,5 keer meer snelheid op dan de software vLLM en TensorRT-LLM. De cross-GPU latentie kwam uit op 4 microseconden. Andere spelers zoeken dezelfde winst via chipvrije routes, zoals het Chinese Zhipu liet zien op een cyberbenchmark. Dat plaatst de claim van Kog meteen in een breder veld van GPU-efficientie.

Wat dit betekent voor Nederland en Europa

Kog is Frans, niet Nederlands. Toch raakt de zaak de hele Europese AI-keten. Europa ontwerpt vrijwel geen eigen GPU’s. ASML levert de machines waarmee chips ontstaan. Nvidia en AMD leveren de ontwerpen. De rekenkracht komt grotendeels van buiten Europa. Cryptofocus schreef eerder over ASML’s trage EUV-tempo tegenover Nvidia’s Feynman-planning. Software die meer inferentie uit bestaande chips haalt, is een van de weinige hefbomen die Europese bedrijven zelf beheersen.

Bpifrance, de Franse staatsinvesteerder, steunt mee. Ook het programma French Tech 2030 zet daar publiek geld op in. Het Europese stroomnet houdt de groei van AI-datacenters nauwelijks bij. Dat meldde de Europese Commissie begin juni 2026, in maatregelen om het energiesysteem te digitaliseren. Euronews berichtte in mei al dat het net in meerdere lidstaten nieuwe datacenters vertraagt. Elke chip die met minder stroom evenveel tokens levert, verlicht dus ook die Europese knelpunten, van Frankrijk tot Nederland. Ook bij AI-regels loopt Europa een aparte koers, zo bleek deze week uit de discussie over verplichte AI-watermerken. Softwarewinst zoals die van Kog raakt dus ook de Nederlandse energierekening indirect.

Veelgestelde vragen

Wat doet het AI-bedrijf Kog precies?
Kog bouwt software die bestaande AMD- en Nvidia-GPU’s meer tokens per seconde laat verwerken bij AI-inferentie. Het Franse bedrijf claimt tot dertig keer meer snelheid dan gangbare software, gemeten op een testmodel van 2,3 miljard parameters.

Hoeveel geld haalde Kog op en van wie?
Kog haalde een seed-investering op, mede geleid door Varsity VC. Bpifrance, Scaleway en het programma French Tech 2030 leverden extra steun, al maakte het bedrijf het exacte bedrag niet openbaar.

Wat betekent dit voor de Europese AI-sector?
Kog laat zien dat Europese bedrijven zonder eigen chipfabriek waarde toevoegen aan de AI-keten, via software in plaats van hardware. Dat sluit aan bij de zorgen van de Europese Commissie over stroomtekorten bij AI-datacenters.