AI-systemens säkerhetsskydd går att lura – och vaknar upp för sent

Säkerhetsskyddet aktiveras för sent – och kan luras

Tänk dig ett säkerhetssystem som sover under inbrottet och vaknar först när tjuven redan är inne. Det är ungefär vad forskning publicerad på arXiv beskriver när det gäller hur stora språkmodeller hanterar skadliga förfrågningar.

Forskarna analyserade de interna aktiveringarna i tre mindre språkmodeller – Phi-3, Qwen2.5 och Gemma-2b – och hittade något bekymmersamt: skyddsmekanismerna är ofta ytliga och aktiveras sent i genereringsprocessen. I modellernas tidiga lager finns faktiskt en urskiljbar signal om skadlig avsikt, en punkt som forskarna kallar avsiktshorisonten. Men i de senare lagren – där skyddet ofta sitter – har kamuflerade angrepp blivit nästan omöjliga att skilja från ofarliga frågor. Träffsäkerheten sjunker där till under 20 procent.

Angreppsmetoden kallas semantisk kamouflage: en skadlig förfrågan kläs i ett harmlöst sammanhang, till exempel som ett kreativt skrivprojekt eller en hypotetisk berättelse. Modellen ser ytan, inte avsikten.

Utifrån denna insikt utvecklade forskargruppen metoden Latent Intent Verification (LIV) – ett lättviktigt försvarssystem som i stället analyserar de tidiga lagren där signalen fortfarande är tydlig. Resultaten är lovande: LIV presterar 20–50 procent bättre än befintliga skyddsmekanismer, och kräver inte att modellen tränas om från grunden. Det är tekniskt elegant – man utnyttjar en svaghet i arkitekturen för att bygga ett bättre försvar inom samma arkitektur.

Etiska principer som tappas i översättningen

Men tekniska säkerhetshål är bara en del av bilden. En annan studie på arXiv lyfter fram ett lika grundläggande problem: de etiska ramverk som ska styra AI-utvecklingen globalt fungerar dåligt när de möter lokala verkligheter.

Genom intervjuer med 14 experter från 10 länder undersökte forskarna hur centrala begrepp som rättvisa, transparens och ansvarsskyldighet faktiskt uppfattas i praktiken. Resultaten är tankeväckande. Integritet är i många sammanhang en kollektiv angelägenhet snarare än en individuell rättighet. Transparens handlar om att bygga förtroende, inte om teknisk öppenhet i västerländsk mening. Rättvisa kopplas till tillgång och representation, inte till likvärdiga utfall enligt ett universellt mått.

Detta är inte bara filosofiska nyanser – det är strukturella skillnader som avgör hur AI-system upplevs, används och ifrågasätts. Ovanpå det tillkommer materiella ojämlikheter: bristfällig infrastruktur och exploaterande praktiker som gör att samma system får helt olika konsekvenser beroende på var det används.

Forskarna förespråkar en mer pluralistisk styrning av AI – en process som fördelar kunskapsmakt bredare och behandlar etik som en pågående, kontextkänslig förhandling snarare än en fastställd teknisk standard som exporteras från ett håll till ett annat.

Slow AI: Bygg in motstånd med mening

En tredje röst i det här samtalet kommer från miljöhumanioran. Ett nytt positionspapper introducerar designfilosofin Slow AI – ett ramverk som argumenterar för att dagens generativa AI-system är inbyggda med värderingar som prioriterar skalbarhet och effektivitet, på bekostnad av miljön och av användarnas faktiska beslutsmakt.

Ramverkets fem principer – återhållsamhet, tillräcklighet, selektivitet, materiell synlighet och friktion som en medveten designegenskap – är ett intressant motdrag mot branschens reflexmässiga strävan efter friktionsfria upplevelser. Tanken är att göra det synligt vad ett AI-anrop faktiskt kostar, både i energi och i autonomi. Att bygga in ett litet motstånd kan återge användaren den beslutsmakt som tysta standardinställningar i dag tyst tar ifrån dem.

Tre problem, ett mönster

Det som binder samman dessa tre forskningsspår är ett gemensamt mönster: AI-system är designade med antaganden som inte alltid håller i mötet med verkligheten. Antagandet att säkerhetsskydd sitter på rätt ställe. Antagandet att etiska värden är universella. Antagandet att mer och snabbare alltid är bättre.

Det är inte en anledning till pessimism – tvärtom. Forskning som denna är exakt vad som behövs för att vi ska kunna bygga AI-system som faktiskt är robusta, rättvisa och hållbara. LIV-metoden visar att det går att åtgärda grundläggande svagheter utan att börja om från noll. Den pluralistiska etikdiskussionen öppnar för mer ärliga samtal om vad vi egentligen menar när vi säger att AI ska vara rättvis. Och Slow AI-ramverket påminner oss om att design alltid är ett val – och att vi kan välja annorlunda.