Forskare: AI:ns säkerhetsbromsar slår fel när systemen får agera på egen hand

När säkerhetsgarantierna inte längre håller

Det händer något när en AI-modell slutar vara en chattpartner och börjar bli en agent – ett system som planerar, använder verktyg och vidtar åtgärder i världen. Och det som händer är inte alltid vad vi förväntar oss.

En ny studie publicerad på arXiv lyfter fram ett problem som borde ge alla som arbetar med agentdrivna AI-system anledning att stanna upp: de styrtekniker vi litar på för att hålla modeller säkra i vanliga konversationer fungerar inte på samma sätt när modellerna agerar autonomt.

Den specifika metod som undersöks kallas additiv aktiveringsstyrning – en teknik där man injicerar riktningsvektorer direkt i modellens interna beräkningslager för att påverka dess beteende. Metoden har länge setts som ett lovande sätt att finjustera hur en modell agerar utan att behöva träna om den från grunden. Tanken är elegant: skjut in en signal i rätt lager, och modellen lutar åt det håll du vill.

Men i agentmiljöer är bilden betydligt mer komplicerad.

Signalen når fram – men effekten är oförutsägbar

Det som gör studiens resultat särskilt intressanta är att problemet inte ligger i att styrsignalen försvinner. Forskarna konstaterar att den injicerade vektorn faktiskt når fram till modellens djupare lager med nästan oförändrad styrka. Signalen är alltså tekniskt sett intakt.

Ändå varierar det faktiska beteendet kraftigt – beroende på vilken modell som används och i vilket sammanhang. På vissa modeller förstärktes förmågan att kringgå säkerhetsspärrar med upp till dubbel effekt jämfört med ett vanligt chattsammanhang. På andra modeller dämpades effekten märkbart.

Det är ett resultat som är svårt att ignorera. Det betyder att en modell som anses säker och välstyrd i ett chattgränssnitt kan uppvisa ett radikalt annorlunda – och potentiellt farligt – beteende när den sätts i ett agentflöde med tillgång till verktyg, externa datakällor och möjligheten att vidta faktiska åtgärder.

Ett strukturellt problem, inte ett undantag

Som systemutvecklare känner jag igen mönstret. Det är klassiskt inom mjukvaruutveckling: något som fungerar utmärkt i ett isolerat testläge beter sig oväntat när det sätts in i ett verkligt, sammansatt system med fler rörliga delar. Agentarkitekturer är just ett sådant sammansatt system – de introducerar loopar, verktygsanrop, minneslager och externa beroenden som en enkel konversationsmodell aldrig behöver hantera.

Det är inte konstigt att säkerhetsegenskaperna förändras. Det konstiga vore om de inte gjorde det.

Vad studien visar är att vi inte kan ta säkerhetsutvärderingar gjorda i chattläge och anta att de gäller i agentläge. Det är två olika driftsmiljöer med olika dynamik, och de kräver separata, dedikerade utvärderingar. Forskarna understryker just detta: nuvarande säkerhetsgarantier kan inte utan vidare tillämpas på agentbaserade system.

Utrullningen pågår redan

Det som gör detta särskilt angeläget just nu är tajmingen. AI-agenter är inte längre ett forskningsprojekt – de rullas ut i produkter från alla stora aktörer. Microsofts Copilot-agenter, Googles Gemini i agentläge, Anthropics verktygsanvändande Claude-varianter. Användare delegerar redan uppgifter till dessa system: de bokar möten, söker information, skriver och skickar meddelanden, interagerar med externa tjänster.

Om de styrtekniker som används för att hålla dessa modeller inom rimliga gränser fungerar annorlunda i just det läge de nu primärt används i – då är det en säkerhetslucka som inte kan vänta på nästa forskningscykel.

Det handlar inte om att AI-agenter är dåliga eller bör stoppas. Det handlar om att vi behöver bygga rätt slags testramverk och säkerhetsutvärderingar för den miljö där systemen faktiskt används – inte den miljö där de råkade vara enklast att testa.