Säkerhetsfilter i Grok och Gemini luras med krypterade instruktioner – ny forskning avslöjar växande sårbarhet

Skyddsmekanismerna ser inte vad de inte förstår

Det finns ett grundläggande problem med hur dagens AI-säkerhetssystem fungerar: de granskar text de kan läsa. Krypterad text kan de inte läsa. Slutsatsen borde vara självklar – men den verkar ha gått säkerhetsteamen hos flera av de största AI-aktörerna förbi.

Företaget Adversa AI rapporterar i en ny genomgång om vad de kallar kryptografisk kontextinjektion – en attackteknik som lyckas lura säkerhetsfiltren i både Grok och Gemini. Metoden är elegant i sin enkelhet: en angripare bäddar in en krypterad instruktion i en förfrågan, tillsammans med nyckeln som låser upp den. Säkerhetsfiltret ser oläsbar kod och vinkar igenom paketet. Inne i modellens körtidsmiljö dekrypteras texten och återfår sitt ursprungliga innehåll – nu inom ett betrodat sammanhang som modellen inte ifrågasätter.

"Angriparens instruktioner får en trovärdighet som samma text aldrig skulle ha fått om den skickades in direkt", konstaterar forskarna bakom rapporten – och det är precis det som gör attacken så besvärlig. Det handlar inte om att brute-forca sig förbi ett filter, utan om att lura modellen att lita på instruktioner den egentligen borde ha avvisat.

I ett konkret demonstrationsangrepp mot Groks webbaserade gränssnitt visade forskarna hur en användare som besöker en manipulerad webbsida kan få sin privata sessionsinformation stulen – helt automatiskt, utan varning, och utan ett enda aktivt klick. Det är datastöld på autopilot.

Bruset skyddar inte heller

Parallellt med attackerna mot säkerhetsfiltren kommer ny forskning från arXiv som sätter ett annat vanligt skyddsantagande under press. Många system som hanterar känslig text använder textinbäddningar – matematiska representationer av text – och lägger till slumpmässigt Gaussiskt brus för att försvåra återkonstruktion av originaltexten. Metoden har länge betraktats som ett rimligt integritetsskydd.

Men det håller inte längre. Forskargruppen bakom metoden DAEI (Denoising-Aware Embedding Inversion) visar att en angripare med en brusborttagande autoenkodare och generativ textinversion kan återskapa originaltext från brusade inbäddningar med anmärkningsvärd precision – utan att ens ha tillgång till märkt träningsdata. Förbättringen jämfört med tidigare angreppssätt är inte marginell: ungefär 154 procent bättre enligt BLEU-måttet, och 32–60 procents förbättring i token-nivå F1 och ROUGE-L.

Det är ett tungt slag mot en utbredd uppfattning. Textinbäddningar används brett inom datasökning och maskininlärningssystem, och antagandet att brusläggning räcker för att förhindra informationsläckage behöver nu omprövas på bred front.

Motåtgärderna är på väg – men halkar efter

Bilden är inte helt dyster. Forskarvärlden sitter inte still. På arXiv presenteras också ett nytt ramverk för att identifiera skadliga svar från stora språkmodeller utan tillgång till modellens interna struktur – en så kallad svart låda-metod. Systemet bygger på dynamiska system och analyserar samspelet mellan fråga och svar, inte bara svaret isolerat. Det visar sig vara en viktig distinktion: kontextberoende regelbrott, där ett svar är problematiskt just i kombination med frågan, är annars svåra att fånga.

På blockkedjefronten presenteras dessutom ett ramverk som använder stora språkmodeller för att automatiskt hitta säkerhetsbrister i smarta kontrakt. Systemet uppnår ett Micro-F1-värde på 0,8085 – inom 2,7 procent av vad separata specialmodeller presterar – men till en bråkdel av beräkningskostnaden. Det är ett bra exempel på hur AI kan användas för att stärka säkerhetsarbetet, inte bara undergräva det.

Men det råder ingen tvekan om att offensiven är steget före defensiven just nu. Attackytorna växer i takt med att AI-agenter ges mer autonomi och fler verktyg att agera med i omvärlden. Varje ny förmåga är också en ny attackvektor – och kryptografisk kontextinjektion är troligen bara en av många tekniker vi ännu inte sett.