Fable 5.1 wint codeeragent benchmark, zakt van 81 naar 39 procent

AI-context. Op de SWE-bench Pro ranglijst van BenchLM.ai staat Fable 5.1 bovenaan met 81,2 procent. Opus 5 volgt met 79,2 procent, GPT-5.6 Sol met 64,6 procent. Fable 5.1 kwam begin deze maand uit als opvolger van Fable 5. Op Real-SWE zakt die score naar 38,8 procent, tegen 6,96 dollar per taakpoging en 17,94 dollar per opgeloste taak. Gemini 3.8 Flash lost minder taken op, 31,2 procent, maar dat kost 8,01 dollar per opgeloste taak. Bron, Specific Labs en BenchLM.ai.

Real-SWE test agents op code die ze nog nooit zagen

Publieke benchmarks zoals SWE-bench draaien op open source code. Die code stond vaak al in de trainingsdata van het model. Specific Labs bouwde daarom Real-SWE. De startup, voortgekomen uit het Y Combinator programma, licentieerde broncode van bedrijven met echte productiesystemen. Een van de voorbeelden is een consumentenapp met meer dan 200.000 gebruikers. Een ander is een fintech-platform dat meer dan 100.000 bankafschriften verwerkt.

Acht modellen kregen tien representatieve taken voorgelegd, elk acht keer uitgevoerd. De onderzoekers noemen dat pass@1, gemiddeld over acht herhalingen. De referentie-oplossing raakt gemiddeld 11 bestanden. Bij oudere benchmarks als FrontierCode en DeepSWE waren dat er 6. De taken lopen over stacks als Go, Python, Node.js en TypeScript, met infrastructuur als AWS, Docker en Kubernetes erbij.

Fable 5.1 wint de codeeragent benchmark, de rekening loopt op

Fable 5.1 wint. Het model, aangestuurd via Claude Code, lost 38,8 procent van de taken op in Real-SWE. Dat is de hoogste score van de acht geteste combinaties. GPT-6 Astra volgt met 33,8 procent, gedraaid via Codex CLI. Gemini 3.8 Flash sluit de top drie met 31,2 procent via Gemini CLI. Onderaan staat GPT-5.6 Sol met 16,2 procent.

Winnen kost geld. Fable 5.1 kost 6,96 dollar per taakpoging en 17,94 dollar per opgeloste taak, de duurste van de acht modellen. Gemini 3.8 Flash lost minder taken op, maar kost 8,01 dollar per opgeloste taak, minder dan de helft. Bij honderden taken per maand loopt dat verschil op tot duizenden dollars. Specific Labs noemt zelf geen winnaar op prijs. Wie kiest voor de hoogste score, betaalt dus ook de hoogste rekening.

Van 81 naar 39 procent, dit verklaart de val

Het verschil tussen 81,2 en 38,8 procent zit in de aard van de code. SWE-bench Pro gebruikt overwegend publieke repositories. Real-SWE gebruikt bedrijfscode die geen enkel model eerder zag. De onderzoekers van Specific Labs categoriseerden de fouten per model. Fable 5.1 mist het vaakst een vereiste uit de opdracht, in 36,7 procent van de mislukte pogingen. Bij Gemini 3.8 Flash gaat het vaker mis bij de integratie met bestaande code, in 49,1 procent van de gevallen.

Grok 4.6 mist een vereiste in 67,2 procent van zijn mislukkingen, het hoogste percentage van alle modellen. Geen enkel model kiest vaker dan 7 procent van de keren het verkeerde bestand. Specific Labs koppelt elk faaltype aan een concrete controle. Een mislukking door een gemiste vereiste vraagt om een checklist die eisen koppelt aan de daadwerkelijke wijzigingen. Een integratiefout vraagt om end-to-end tests die falen zodra een aangepaste interface geen bijgewerkte aanroeper heeft. Specific Labs wil op termijn een deel van de taken en modeltrajecten openbaar maken.

Europese bedrijven en de vraag wie hun broncode mag testen

Real-SWE draait op broncode die bedrijven vrijwillig aan Specific Labs licentieerden. Voor Nederlandse en Europese softwarebedrijven roept dat een bredere vraag op dan de score zelf. Wie een AI-codeeragent op eigen code laat werken, deelt vaak dezelfde gevoelige informatie die zo’n benchmark nodig heeft. Denk aan klantdata, interne API’s en bedrijfslogica. Onder de AVG blijft dat een verwerkersovereenkomst, ook als de tegenpartij een Amerikaanse AI-startup is. Sakana AI botste deze week al op een vergelijkbaar probleem. Zijn Fugu Ultra model versloeg wel een benchmark, maar mocht de EU-markt nog niet op.

Coding-agents die op onbekende code loslopen, brengen ook operationele risico’s mee. Gisteren nog kwam aan het licht dat OpenAI vier maanden zweeg over een aanval waarbij AI-agenten werden misbruikt. Real-SWE meet vooral kwaliteit op een taak. Het zegt weinig over hoe een model omgaat met code buiten zijn comfortzone. Precies dat scenario maakte misbruik zoals bij RubyGems mogelijk.

Veelgestelde vragen

Wat is de Real-SWE benchmark?
Real-SWE is een test van Specific Labs die AI-codeeragents laat werken op gelicentieerde bedrijfscode in plaats van publieke GitHub-repositories. Acht modellen losten tussen 16,2 en 38,8 procent van tien representatieve taken op.

Welk AI-model scoort het beste op Real-SWE?
Fable 5.1, aangestuurd via Claude Code, wint met 38,8 procent opgeloste taken. GPT-6 Astra volgt met 33,8 procent, Gemini 3.8 Flash met 31,2 procent.

Waarom scoren AI-modellen lager op Real-SWE dan op SWE-bench?
SWE-bench Pro bevat vooral code die modellen al kenden uit hun trainingsdata. Real-SWE gebruikt bedrijfscode die geen enkel model eerder zag. Daardoor zakt de score van Fable 5.1 van 81,2 naar 38,8 procent.