AI säger nej – och fortsätter ändå: forskare avslöjar hur skyddet kan luras mitt i ett svar

Säkerheten sitter i fel del av svaret

När en AI-modell nekar att hjälpa med något skadligt känns det tryggt. Modellen inleder med ett tydligt avvisande, förklarar varför den inte kan bistå, och stänger dörren. Men enligt ny forskning publicerad på arXiv är den dörren inte låst – den är bara stängd på glänt.

Studien beskriver hur säkerhetsträningen i moderna stora språkmodeller ofta är ytlig och ojämnt fördelad. Skyddsmekanismerna är framför allt inbyggda i svarets tidiga delar. Det låter rimligt vid första anblick – om modellen direkt avvisar en skadlig förfrågan är jobbet gjort. Men problemet uppstår när man förstår hur språkmodeller faktiskt fungerar.

Autoregression – styrkan som blev en svaghet

Stora språkmodeller genererar text ord för ord, där varje nytt ord väljs utifrån allt som skrivits tidigare. Det kallas autoregressiv textgenerering, och det är precis det som gör modellerna så flytande och kontextkänsliga. De följer konsekvent den textriktning som redan etablerats.

Men den egenskapen kan utnyttjas. Forskarna visar att om en angripare lyckas infoga ett kort skadligt textavsnitt mitt i ett annars korrekt avvisande svar, kommer modellen att följa den nya riktningen – som en flod som plötsligt byter fåra. Det spelar ingen roll att modellen inledde med ett långt och välformulerat nej. Den autoregressiva logiken tar vid och modellen fortsätter konsekvent i den skadliga riktningen.

Det är en elegant attack, och det är just det som gör den bekymmersam. Den kräver inte att man bryter sig in i modellen. Den utnyttjar istället en fundamental egenskap i hur modellen är konstruerad.

Inte ett nytt problem – men ett mer välbeskrivet sådant

De som följt AI-säkerhetsdebatten känner igen mönstret. Sedan de stora språkmodellerna blev allmänt tillgängliga har det pågått ett slags katt-och-råtta-lek mellan säkerhetsforskare och de som försöker kringgå skydden. Tekniker som "jailbreaking" – att lura modeller att bete sig utanför sina riktlinjer – har diskuterats sedan ChatGPT lanserades i slutet av 2022.

Det som den här studien tillför är en mekanistisk förklaring. I stället för att dokumentera att attacker fungerar, förklarar forskarna varför de fungerar och pekar ut den autoregressiva konsistensen som den underliggande boven. Det är en viktig distinktion. När vi förstår mekanismen kan vi börja bygga robustare försvar.

Ett nytt träningsramverk som möter hotet

För att motverka sårbarheten föreslår forskarna ett träningsramverk de kallar adversarial safety alignment. Grundtanken är att aktivt träna modeller att bryta skadliga textriktningar oavsett var i ett svar de uppstår – inte bara i början.

I praktiken innebär det att man under träningen medvetet utsätter modellen för scenarion där skadligt innehåll dyker upp mitt i en pågående text, och lär modellen att identifiera och avvisa dessa riktningsförändringar. Det är ett mer robust angreppssätt än nuvarande praxis, som i hög grad förutsätter att en attack alltid inleds med en tydlig skadlig förfrågan.

Det är ett lovande förslag, och det är glädjande att forskarsamhället rör sig från att beskriva problem till att lösa dem. Samtidigt är det värt att notera att det här är ett ramverk som ännu inte är standardimplementerat i de stora modellerna. Vägen från akademisk artikel till produktionsredo säkerhetsuppdatering hos OpenAI, Google eller Anthropic är ofta lång.

Vad det betyder för dig som använder AI

Om du använder AI-verktyg i ditt arbete – och det gör allt fler – är det här en påminnelse om att säkerhetsgarantierna i dessa system inte är absoluta. Det gäller särskilt i sammanhang där AI-modeller används för att hantera känslig information, ge råd i kritiska situationer eller interagera med användare som kan ha skadliga avsikter.

Det är inte ett argument för att sluta använda AI. Det är ett argument för att använda den med öppen blick för dess begränsningar – och för att de organisationer som bygger och driftsätter AI-system tar det säkerhetsarbete som forskningen pekar ut på fullaste allvar.