Externe AI-evaluatoren krijgen toegang tot Anthropic als personeel

AI-context. METR onboardde zes medewerkers met toegang die bijna gelijk is aan die van Anthropics eigen risicoteams. Anthropic en Accenture-dochter Faculty reserveren daarnaast samen minstens twee miljard dollar over vijf jaar voor evaluatiecapaciteit. Reuters meldde op 13 oktober dat Anthropic en OpenAI aanvankelijk aanstuurden op redactionele controle over publicaties van evaluatoren. Bron: Anthropic, Reuters.

Externe AI-evaluatoren van METR werken vanaf nu binnen Anthropic

Zes medewerkers van METR kregen deze week een bureau bij Anthropics aankondiging over onafhankelijke evaluatoren. Ze gebruiken bedrijfshardware en interne systemen die grotendeels gelijk zijn aan die van Anthropics eigen risicoteams. Zo noemt Anthropic dat zelf. De non-profit mag zelf publiceren over de risiconiveaus, incidenten en werkwijzen die ze aantreft.

Anthropic mag die publicatie niet tegenhouden. Het bedrijf kan wel redactie eisen bij drie smalle categorieën informatie, zoals klantgegevens, advocaat-cliëntinformatie of details over de modelarchitectuur. METR mag vervolgens zelf zeggen of die redactie terecht was, zonder de geschrapte informatie te herhalen. Overige METR-medewerkers staan los van het team dat met Anthropic werkt.

Anthropic vergelijkt de aanpak met banktoezicht. Een bank weet meer over haar eigen risico’s dan een toezichthouder van buiten. Daarom werken sommige banktoezichthouders vanuit het pand zelf. Anthropic zegt zo het gat te willen dichten. Een evaluator moet evenveel begrijpen van een AI-bedrijf als het bedrijf zelf.

Drie toegangsniveaus bepalen wie wat mag publiceren

Anthropic werkt voor partners met drie niveaus van toegang. Bij niveau een bepaalt Anthropic zelf wat een evaluator mag onderzoeken, en moet het bedrijf een publicatie goedkeuren. Bij niveau twee krijgt de evaluator meer toegang. Die mag zonder toestemming publiceren. Anthropic kan nog altijd smalle categorieën laten schrappen. METR zit op niveau drie, met toegang als personeel en publicatierechten die lijken op niveau twee.

SecureBio onderzoekt apart het hoofdstuk over chemische en biologische wapens uit Anthropics rapport van augustus. De organisatie publiceerde eerder al een proefbeoordeling van het vorige risicorapport. Accenture-dochter Faculty gaat modellen testen, red-teamen en meekijken tijdens de training. Anthropic en Accenture trekken daarvoor samen minstens twee miljard dollar uit, verspreid over vijf jaar. Geen van beide bedrijven noemde een vast tarief voor het werk zelf.

Honderd AI-experts eisen meer onafhankelijkheid

Vorige maand ondertekenden meer dan honderd AI-onderzoekers een open brief, georganiseerd door de AI Evaluator Forum. Geoffrey Hinton stond op de lijst. Ook David Duvenaud zette zijn naam erbij, een voormalig hoofd alignment-evaluaties bij Anthropic en nu hoogleraar in Toronto. Duvenaud noemt onafhankelijke auditors noodzakelijk. Ze moeten bovendien beschermd zijn tegen represailles, zegt hij.

Reuters meldde op 13 oktober dat Anthropic en OpenAI aanvankelijk veel controle wilden over wat evaluatoren naar buiten mochten brengen. Beide bedrijven vreesden dat bedrijfsgeheimen zouden uitlekken. Anthropic-topman Dario Amodei zei intussen dat evaluatoren hun belangrijkste bevindingen moeten kunnen publiceren zonder redactionele controle. Faculty-directeur Marc Warner voegt toe dat vertrouwen alleen ontstaat bij onafhankelijkheid en transparantie.

Rumman Chowdhury, voormalig Amerikaans gezant voor AI, wijst op een ander risico. Evaluatoren krijgen zeer bevoorrechte toegang. Maar die toegang heeft een prijs, zegt ze, ook als niemand dat met zoveel woorden uitspreekt. Anthropic betaalt Faculty namelijk rechtstreeks voor het werk. Dat valt moeilijk te rijmen met de open brief. Die eist juist dat evaluatoren geen vergoeding krijgen die afhangt van hun eigen bevindingen.

Nederlandse en Europese toezichthouders volgen een eigen spoor

Anthropic ondertekende de Europese gedragscode voor AI-modellen met systeemrisico, de GPAI Code of Practice. Daarmee verplicht het bedrijf zich tot eigen evaluaties en risicobeoordelingen. Artikel 55 van de AI-verordening eist dat van de krachtigste modellen. Europa laat die controle dus niet enkel over aan de vrije keuze van het bedrijf zelf. De Amerikaanse aanpak met METR en Faculty werkt wel zo.

In Nederland krijgt de Rijksinspectie Digitale Infrastructuur straks een coördinerende rol in het toezicht op de AI-verordening. De Autoriteit Persoonsgegevens deelt die rol. Het kabinet stuurde het wetsvoorstel daarvoor in april in consultatie. Toezicht op de zwaarste risicocategorie gaat op zijn vroegst eind 2027 in. Tot die tijd blijft de controle op modellen als die van Anthropic tweeledig. Ze is een Europese verplichting en een vrijwillige Amerikaanse proef tegelijk. Lees ook ons stuk over het AI-pact met Singapore en over Anthropics eigen beursgang van 2 biljoen dollar.

Veelgestelde vragen

Wat is METR?
METR is een non-profit die AI-modellen van toonaangevende ontwikkelaars test op risico’s. De organisatie beoordeelt al een jaar de risicorapporten van Anthropic. Deze week kreeg ze een team van zes medewerkers met toegang als eigen personeel.

Betaalt Anthropic de partijen die het bedrijf controleren?
Ja. Anthropic betaalt Accenture-dochter Faculty rechtstreeks voor het evaluatiewerk. Beide bedrijven verwachten daar samen minstens twee miljard dollar in te steken, verspreid over vijf jaar.

Welke Nederlandse toezichthouder gaat straks de AI-verordening controleren?
De Rijksinspectie Digitale Infrastructuur en de Autoriteit Persoonsgegevens krijgen een coördinerende rol. Het wetsvoorstel daarvoor ligt sinds april in consultatie, en de zwaarste risicocategorie valt op zijn vroegst eind 2027 onder toezicht.