Vi tror att vi kontrollerar AI – men vi mäter fel saker
Nya studier visar att våra verktyg för AI-säkerhet kan vara farligt missvisande.
Säkerhetslager med dolda svagheter
Det finns en stilig enkelhet i tanken att man kan styra en stor språkmodells beteende genom att helt enkelt identifiera och dämpа de interna representationer som aktiveras vid skadliga svar. Det är ungefär den idé som ligger bakom så kallade glesa autokodare — en teknik som fått mycket uppmärksamhet som lovande verktyg för att göra AI-modeller säkrare.
Men en ny studie på Googles Gemma-2-9B-modell, publicerad på arXiv, sätter ett frågetecken vid den bilden. Forskarna visar att ingrepp via glesa autokodarfunktioner fungerar tillräckligt väl i ett smalt användningsintervall — men vid mer kraftfulla ingrepp kollapsar modellens språkliga sammanhang helt. Resultaten kan då se ut som att säkerhetskontrollen fungerat, men det som egentligen hänt är att modellen börjat producera obegriplig text. Det är inte ett säkert system — det är ett trasigt system.
Ännu mer illavarslande är att studien påpekar att utan ett ordentligt utvärderingsprotokoll — ett som kräver att ett misslyckat svar är både osäkert och sammanhängande — är det lätt att dra helt fel slutsatser om hur väl skyddet fungerar. Verktygen för att mäta säkerhet kan alltså vara lika ogenomskinliga som systemen de ska mäta.
Snabbare tänkande, blindare granskning
En annan studie lägger ytterligare ett lager till problembilden. När AI-modeller tränas att resonera kortare — en trend driven av kostnadsskäl och användarupplevelse — uppstår en oväntad bieffekt: tankekedjorna blir svårare att granska.
Forskarna testade Qwen3-modeller med olika grader av längdbegränsning och fann att andelen fall där ett övervakningssystem lyckades fånga ledtrådar om vad som faktiskt styrde modellens svar sjönk från 69 till 49 procent för den större modellen. Forskarna kallar det för en komprimerings-övervakningsgräns — ett dilemma där effektiviseringar och granskningsbarhet drar åt varsitt håll.
Det är ett klassiskt ingenjörsproblem: vi optimerar för ett mått och tappar kontroll över ett annat. Skillnaden mot att optimera en databas är att vi här optimerar system som fattar beslut med verkliga konsekvenser.
Transparens kräver mer än kod
En tredje studie, som jämför principer för människo-centrerad AI-design med äldre socio-tekniska systemteorier, landar i en slutsats som borde vara självklar men sällan är det: transparens i AI-system kan inte uppnås med enbart tekniska lösningar. Organisationer, processer och mänskliga aktörer måste aktivt byggas in i systemet för att kompensera för AI:s inneboende brister.
Det är ett perspektiv som ofta glöms bort i den tekniska debatten. Vi pratar om modellarkitekturer och säkerhetsfilter, men sällan om vilka rutiner en klinik, en myndighet eller ett företag behöver ha för att AI-användning faktiskt ska vara ansvarsfull.
Det finns också ljuspunkter
Bilden är inte enbart dyster. En annan forskargrupp presenterar ett nytt säkerhetsskydd som angriper problemet med överavvisning — det irriterande fenomen där AI-modeller avvisar helt harmlösa frågor av rädsla för att göra fel. Istället för att analysera indata analyserar systemet modellens interna tillstånd för att förutsäga om svaret på väg att genereras är skadligt. Resultaten är lovande: lika hög säkerhetsnivå, men med betydligt färre onödiga avvisningar.
En studie om biologirelaterad AI visar dessutom att ingen enskild säkerhetsstrategi passar alla modeller — Claude Sonnet responderade bäst på säkerhetsorienterad promptning, medan Gemini 3.5 Flash svarade bättre på extern kontroll. Det är ett viktigt påminnelse: säkerhet är inte en universell inställning man slår på, utan ett kontextberoende designbeslut.
Och för den som är orolig för AI i kliniska miljöer specifikt: en ny träningsstrategi för medicinsk bildanalys visar att det går att drastiskt minska energiförbrukningen vid träning — med potentiellt flera tiopotenser lägre koldioxidutsläpp — utan att ge avkall på träffsäkerheten. Det är ett steg mot AI som faktiskt kan driftsättas i resursbegränsade sjukhusmiljöer utan att det kostar en förmögenhet eller ett klimatavtryck.
Mönstret som framträder
Sett tillsammans målar veckans forskning upp ett mönster: vi har skapat kraftfulla system, börjat driftsätta dem i känsliga sammanhang, och upptäcker nu i efterhand hur svåra de är att granska, styra och förstå. Det är inte katastrof — det är ingenjörskonst i sin mest ärliga form. Men det kräver att vi tar dessa varningssignaler på allvar, och slutar behandla säkerhetslager som en checkbox snarare än ett aktivt designproblem.
Vår analys
Det som gör veckans forskningsresultat särskilt intressanta är att de utmanar en grundläggande premiss i den rådande AI-säkerhetsdebatten: att vi faktiskt vet hur säkerhetssystemen fungerar. Det visar sig att utvärderingsmetoderna är lika opålitliga som systemen de mäter, och att optimeringar vi gör av prestandaskäl kan urholka vår förmåga att granska vad som egentligen händer inuti modellerna.
Jag ser detta som en mognadsprocess snarare än ett misslyckande. Fältet börjar ställa rätt frågor — inte bara fungerar säkerhetsskyddet? utan hur vet vi att det fungerar, och under vilka förhållanden slutar det att göra det?
Nästa steg måste vara standardiserade utvärderingsprotokoll som industrin faktiskt håller sig till, och ett erkännande att ansvarsfull AI-driftsättning kräver organisatorisk design lika mycket som teknisk. Det är ett svårare problem — men ett mer ärligt sådant.