AI-systemen ger rätt svar – av helt fel anledningar
AI når rätt svar av fel skäl – och det är ett genomgripande problem.
Vad vet vi egentligen om AI-systemens inre?
Föreställ dig att du anlitar en konsult som ger dig rätt svar – men av helt fel anledningar. Det är i grunden vad ny forskning visar att många AI-modeller gör idag.
Ett forskarlag vid arXiv har granskat hur så kallad uppmärksamhetsmekanik i stora språkmodeller faktiskt förhåller sig till vad modellen verkligen förlitar sig på för att nå ett svar. Resultatet är slående: uppmärksamhet och orsakssamband stämmer ofta inte överens. En modell kan fästa stor vikt vid föråldrad information – och ändå svara rätt, baserat på nyare fakta den inte ens verkar titta på. I ett test med flerstegsfrågor nådde en väljarmekanism tränad på uppmärksamhetsdata bara 41 procents träffsäkerhet, medan samma mekanism tränad på faktiska orsakssamband nådde 99 procent.
Detta är inte ett marginalproblem. Det rör sig om en felaktig grundsyn på hur vi förstår och granskar AI-beslut.
Felen sitter djupare än vi trott
Samma tema återkommer i en studie om kvantiserade modeller – en teknik som används för att göra stora AI-modeller mer resurseffektiva på exempelvis mindre enheter. Noggrannheten bibehålls, men modellernas interna motiveringar till sina beslut kan förändras avsevärt. Med andra ord: modellen ger rätt svar, men tittar på fel sak i bilden. Det är en distinktion som kan vara avgörande i sammanhang där förklarbarhet krävs – exempelvis inom sjukvård eller myndighetsutövning.
Ännu ett lager av komplexitet tillförs av forskning om träningsdata. Ett nytt granskningsverktyg har tillämpats på välkända datamängder och avslöjat dolda strukturella motsägelser, märkningsfel och säkerhetsrisker – inklusive i de utvärderingsuppsättningar som används för att bedöma modellernas prestanda. På Anthropics datamängd HH-RLHF identifierades tusentals dolda säkerhets- och faktafel. Det väcker en obehaglig fråga: hur tillförlitliga är egentligen de riktmärken vi jämför modeller mot?
Agenter i kritiska miljöer – ett olöst säkerhetsproblem
Medan debatten om språkmodellers tillförlitlighet pågår, rullar autonoma AI-agenter redan ut i produktion. Och där är situationen ännu mer akut.
Ett forskarlag har presenterat ett säkerhetstestramverk riktat mot AI-kodningsagenter – de system som används för att skriva, felsöka och underhålla programvara. Resultaten är alarmerande: upp till 73,6 procent av försöken med kodbaserade angrepp, där skadliga instruktioner kamouflerats som vanliga uppgifter, resulterade i verifierade osäkra körningar. Problemen inkluderade bestående ändringar i konfigurationsfiler och startskript – förändringar som kan leva kvar länge efter att attacken är genomförd.
Parallellt med detta visar forskning om adaptiva avvikelsedetektorer en annan strukturell svaghet: ett fenomen kallat självförgiftning, där detektorn gradvis förlorar sin förmåga att skilja normal från avvikande data. Matematiska bevis visar att befintliga system av design befinner sig nära ett kritiskt tröskelvärde. Utan skyddsåtgärder kan detektionsprestandan sjunka med upp till 0,163 AUROC-enheter – en dramatisk försämring.
Men lösningarna finns – och de är lovande
Det vore fel att stanna vid problemen. Forskarvärlden arbetar aktivt med motmedel, och flera av dem är imponerande.
Ett decentraliserat säkerhetsramverk för autonoma AI-agenter i kritisk infrastruktur har driftsatts hos en stor molnleverantör och hanterar nätverksinfrastruktur över hundratals datacenter. Under åtta månaders produktion registrerades inga obehöriga skrivoperationer – ett starkt resultat.
På säkerhetsklassificeringsfronten presenteras Semalith v1.4, en liten modell med bara 184 miljoner parametrar som slår Metas Llama-Guard-3-8B – en modell 44 gånger större – i samtliga sju utvärderingar av angreppsdetektion. Noll falska larm på 208 godartade agentiska uppmaningar, mot 6,3 procent för konkurrenten.
Och för att hitta sällsynta men kritiska fel i autonoma system har ramverket DiffTilt presenterats, som kombinerar diffusionsmodeller med matematisk sannolikhetsomfördelning för att effektivare söka upp de scenarion som faktiskt avslöjar systemfel.
Vilseledande diagram är ett annat område som fått ett nytt verktyg: riktmärket VisDeception med 1 600 diagrampar visar att även avancerade syn-språkmodeller är påtagligt känsliga för manipulerade visualiseringar – och ett fleragerentsystem som analyserar strukturerad metadata föreslås som motmedel.
Vad det betyder i praktiken
Den sammantagna bilden är tydlig: vi har distribuerat AI-system i kritiska sammanhang innan vi haft tillräckliga verktyg för att förstå deras faktiska beteende. Det är inte ett argument mot AI – det är ett argument för att ta verifiering, granskning och säkerhetsarkitektur på lika stort allvar som modellprestanda.
Vår analys
Det som gör denna forskningsvåg särskilt betydelsefull är att den inte handlar om hypotetiska framtidsrisker – den handlar om system som redan är i drift. Och mönstret som framträder är genomgående: vi har mätt fel saker. Noggrannhet har fått ersätta förklarbarhet. Uppmärksamhet har fått ersätta orsakssamband. Riktmärken byggda på felaktigt märkt data har fått definiera vad som är "bra".
Det positiva är att verktygen för att rätta till detta nu börjar dyka upp – och att de är genomtänkta. Framöver tror jag vi kommer se en tydlig uppdelning mellan organisationer som tar säkerhetsarkitektur och granskning av träningsdata på allvar, och de som inte gör det. Den uppdelningen kommer att bli synlig i form av tillbud, regelingripanden och förtroendeförlust.
Den goda nyheten: kunskapen finns nu. Det handlar om att använda den.