OpenAI presenteerde maandag twee AI-tests voor programmeertalen waarvoor relatief weinig trainingsmateriaal beschikbaar is. De ene laat een database bouwen, de andere bestaande COBOL-programmaās vertalen. Die taken meten verschillende vaardigheden. Het onderscheid bepaalt wat een ontwikkelaar uit de gemelde scores kan afleiden.
| Wat je moet weten |
|---|
| OpenAI publiceerde de evaluaties op 19 oktober. |
| MultiLangBench omvat twintig programmeertalen. |
| GPT-6 Astra behaalt volgens OpenAI gemiddeld 87,4 procent geslaagde tests. |
| Voor COBOL afzonderlijk meldt het bedrijf 72,1 procent. |
In de officiĆ«le publicatie draait MultiLangBench om het bouwen van een SQLite-compatibele database. Bij de afzonderlijke migratietest moeten vertaalde COBOL-programmaās dezelfde waarneembare uitvoer geven als het origineel. Daar telt een vertaling alleen als geslaagd wanneer alle tests slagen. Een percentage geslaagde databasetests heeft dus een andere noemer dan een percentage volledig geslaagde migraties. Die cijfers zijn geen onderlinge ranglijst.
De openbare handleiding van MultiLangBench maakt de controle concreet. Het kandidaatprogramma krijgt een databasebestand en een SQL-opdracht. Daarna controleert de echte SQLite-versie 3.40.1 het gewijzigde bestand met een afzonderlijke validatieopdracht. De verwachte uitvoer moet exact overeenkomen. Een programma dat een verkeerde taal gebruikt, crasht of de tijdslimiet overschrijdt, faalt volgens de instructies. Daarmee toetst de opzet gedrag dat buiten de eigen uitleg van het model controleerbaar is.
Ook de omvang van de test vraagt aandacht. De handleiding noemt ongeveer 24.000 omgezette tests, maar adviseert wegens de kosten een selectie van 272. De volledige verzameling gebruiken mag, mits dat wordt vermeld. Een verwijzing naar de beschikbare verzameling bewijst daarom op zichzelf niet dat een gerapporteerde uitvoering alle tests omvatte. Voor het reproduceren van een score zijn zowel de gekozen selectie als de beoordelingsregel nodig. Alleen het percentage overschrijven laat die informatie weg.
IBM beschrijft bij COBOL-modernisering een bredere opgave dan vertaling. Naast de code spelen de gegevensarchitectuur, de uitvoeromgeving en de betrouwbaarheid van transactieverwerking mee. Een programma moet immers ook samenwerken met de systemen waarop het draait. Dat kader voegt een derde beoordelingsniveau toe: na nieuwbouw en behoud van programmagedrag volgt de werking binnen de bestaande omgeving. IBM bevestigt hiermee de OpenAI-scores niet; het beschrijft andere eisen aan een moderniseringsproject.
Het verschil wordt tastbaar bij afronding. OpenAI wijst erop dat COBOL overtollige decimalen kan afkappen waar een vertaling ze afrondt. Beide programmaās kunnen zonder foutmelding draaien en toch verschillende bedragen opleveren. De migratietest onderzoekt dat soort gedragsbehoud; de databaseproef beantwoordt een andere vraag. Voor een financiĆ«le toepassing blijft vervolgens de aansluiting op de eigen transactieketen over. Geen van deze drie vragen kan door het gemiddelde over twintig talen worden vervangen.
