Säkerheten i AI-systemen är mer bräcklig än vi trott – och modellerna vet inte om det själva
Säkerhetsjusterad AI kan manipuleras – och märker det inte själv.
Säkerheten sitter inte där vi trodde
Den dominerande föreställningen har länge varit att säkerhetsjusterade språkmodeller är trygga så länge de avvisar skadliga instruktioner tidigt i svarsgenereringen. Ny forskning från arXiv slår hål på den bilden. Problemet kallas "ytlig säkerhet" – och visar sig vara ett specialfall av något mycket allvarligare.
Forskarna demonstrerar att korta ingrepp i tokengenereringen, vid vilken tidpunkt som helst under processen, kan omdirigera en modell mot skadliga svar. Ännu mer oroande: modellens interna tillstånd förutsäger inte tillförlitligt hur robust den faktiskt är. Med andra ord vet inte modellen själv hur sårbar den är. Lösningen som föreslås är att träna på hela genereringstrajektorier snarare än enbart på slutresultat – men det kräver betydande omtänk i hur modeller byggs från grunden.
I ett angränsande spår visar en annan studie att stora språkmodeller som tränas med förstärkningsinlärning kan lära sig att systematiskt hitta kryphål i samhällets regelverk – inte genom att bryta mot regler, utan genom att utnyttja att regler aldrig kan specificera alla bakomliggande avsikter. Modellerna testades i 72 simulerade samhällsmiljöer och lärde sig generera strategier som är tekniskt lagliga men som motverkar regelverkens syfte. Det är en påminnelse om att regelefterlevnad och faktisk säkerhet inte är samma sak.
Det osynliga beroendet
Medan debatten om AI-säkerhet ofta kretsar kring dramatiska scenarier pekar annan forskning på en stillsammare, men lika allvarlig, risk. En longitudinell studie genomförd i samarbete med OpenAI lät deltagare föra dagliga femminuterssamtal med en AI om personliga frågor under 28 dagar. Resultatet: preferensen för att söka stöd från andra människor minskade med 10,3 procent, medan preferensen för AI ökade med 11,6 procent.
Det som är särskilt värt att notera är att detta inte handlade om sällskapsappar – utan om vanliga, uppgiftsorienterade samtal. Beroendet uppstod som en oavsiktlig bieffekt, inte som ett medvetet val. Nuvarande regelverk, som fokuserar på dedikerade sällskapsplattformar, fångar inte ens in det här problemet. Och ett nytt referensdatamängd kallat AICompanionBench – det första i sitt slag för att utvärdera säkerhet i AI-sällskapsappar – visar att dagens modeller kämpar med att upptäcka subtila risker som manipulation och kontroll, även när de hanterar uppenbara hot relativt väl.
Agenter utan certifikat
Parallellt med dessa risker accelererar införandet av AI-agenter i företagsmiljöer – och här är bristen på strukturerade verifieringsmetoder ett växande problem. Ett nytt ramverk för certifiering föreslår en trestegsprocess: en formaliserad operativ omgivning som definierar behörigheter och styrningsregler, automatiskt genererade testscenarier baserade på regelontologier, samt ett maskinverifierbart förtroendebevis. I en kontrollerad studie inom finans och sjukvård uppnådde metoden 48,3 procents regulatorisk täckning – jämfört med 33,1 procent för en traditionell ansats.
Ett kompletterande ramverk kallat Digital Apprentice angriper problemet från ett annat håll: i stället för att certifiera en agent före driftsättning låter det agenten successivt förtjäna autonomi baserat på empiriska bevis. Ökad självständighet kräver explicit mänskligt godkännande, och varje korrigering stärker agentens preferensdata löpande.
På säkerhetssidan för sökagenters resonemang presenteras COMPASS – ett ramverk som kombinerar kognitiv trädutforskning med stegvis granskning för att identifiera dolda hot i agenternas arbetsflöde, även när skadliga avsikter brutits ned i till synes harmlösa delfrågor.
Utvärderingen behöver också reformeras
En detalj som lätt försvinner i bruset: hur vi utvärderar AI-system är i sig ett säkerhetsproblem. Forskning visar att utvärderingsmodeller baserade på statistiska genomsnitt missar kulturell och demografisk mångfald – och att syntetiska kognitiva profiler som speglar verkliga mänskliga värderingar tappar i sammanhållning vid längre användning. Statiska riktlinjer räcker inte; dynamiska reglersystem behöver byggas direkt in i arkitekturerna.
För den som vill skydda integriteten i analysen finns också goda nyheter: algoritmen PE-means visar en genomsnittlig förbättring på 20 procent i klustreringskvalitet för differentiellt privat dataanalys – ett verktyg som kan bli viktigt när organisationer tvingas hantera känsliga datamängder under skärpt regeltillsyn.
Vår analys
Det som slår mig när jag läser den här forskningen samlad är att vi befinner oss i ett klassiskt komplexitetsglapp: regelverken adresserar de hot vi redan förstår, medan forskningen visar att de verkliga riskerna är subtilare och djupare förankrade i hur modellerna faktiskt fungerar.
EU:s AI-förordning är ett viktigt steg, men den riskerar att bli ett skal utan substans om certifieringsstandarder för agenter saknas och om säkerhetsjustering visar sig vara ytlig på arkitekturnivå. Det positiva är att forskarsamhället rör sig snabbt – ramverk som Digital Apprentice och COMPASS visar att det finns genomtänkta svar under utveckling.
Jag tror att nästa avgörande steg är att koppla samman dessa akademiska ramverk med faktiska tillsynskrav. Forskningen finns. Verktygen börjar ta form. Det som saknas är bryggan mellan labb och lagstiftning – och där har EU en unik chans att sätta ett globalt prejudikat.