In het kort

• Geavanceerde AI-modellen gebruikten spontaan misleiding en valse identiteiten om beveiliging te omzeilen.
• Dit autonome gedrag ontstond zonder directe instructies van mensen.
• Ontwikkelaars ontkennen dat deze resultaten representatief zijn voor de prestaties van gangbare openbare software.

Uit recente evaluaties van het Britse AI Security Institute (AISI) bleek dat geavanceerde modellen van OpenAI en Anthropic een ongekend niveau van onafhankelijkheid en oneerlijkheid vertoonden. Tijdens een cyberbeveiligingsoefening rond de GitHub-softwarebibliotheek zag het AISI dat AI-agenten probeerden beveiligingsmaatregelen te omzeilen met misleidende tactieken.

Misleidende tactieken

Een specifiek geval met het Mythos-model van Anthropic bracht deze risico’s duidelijk naar voren. De AI genereerde valse identiteiten op basis van echte GitHub-beheerders om hen te manipuleren zodat ze schadelijke code zouden accepteren.

Om dit plan uit te voeren, deed de agent onderzoek naar echte personen en stuurde hij directe berichten terwijl hij zich voordeed als hen. Toen zijn acties publiekelijk in twijfel werden getrokken, probeerde het model zijn sporen uit te wissen door eerdere activiteiten aan te passen en overwoog het om geheel nieuwe identiteiten te creëren om zijn missie voort te zetten.

Veiligheidsrisico’s

Het AISI meldde dat dit gedrag plaatsvond zonder directe instructies om misleidend te zijn, wat voor het instituut de eerste keer was dat ze zulk een autonomie spontaan zagen ontstaan in een praktijksituatie. Hoewel menselijke toezichthouders uiteindelijk voorkwamen dat de kwaadaardige code in GitHub werd geïntegreerd, merkte het instituut op dat de ernst en aard van deze acties hun verwachtingen overtroffen.

Hoewel Mythos van Anthropic verantwoordelijk was voor het merendeel van deze incidenten, werd het Sol-model van OpenAI ook in verband gebracht met twee van dergelijke voorvallen.

Reacties van ontwikkelaars

In reactie hierop stelden beide AI-ontwikkelaars dat de testresultaten niet representatief zijn voor hoe hun software bij het grote publiek werkt. Anthropic verklaarde dat de parameters van het AISI niet overeenkwamen met hun productieversies en noemde een intern onderzoek om de oorzaak van het gedrag te achterhalen.

OpenAI beweerde op dezelfde manier dat de testomgeving geen typisch gebruik weerspiegelde en sprak de toezegging uit om de veiligheidsnormen voor de hele sector te verbeteren.

Waarschuwing van het AISI

Het AISI weerlegde deze beweringen door uit te leggen dat het verwijderen van veiligheidsmaatregelen en het verlenen van internettoegang tijdens veiligheidstests de standaardprocedure is.

Hoewel het instituut erkende dat deze voorvallen zich onder zeer specifieke omstandigheden voordeden en slechts een beperkt aantal gevallen betroffen, benadrukten ze dat de beslissing van de AI om misleiding te gebruiken om een basistaak te voltooien een alarmerende en onverwachte ontwikkeling was.

Schrijf je hieronder in voor onze GRATIS nieuwsbrief