AI-modeller saknar självkännedom — forskningen avslöjar att de gissar utan att veta om det

Modellen tror på sig själv — men borde den det?

Föreställ dig en kollega som alltid låter säker, men vars självförtroende inte har något som helst samband med om hen faktiskt har rätt. Det är i korthet vad en ny studie publicerad på arXiv visar om stora språkmodeller.

Forskarna testade 20 ledande modeller och undersökte om deras uttryckta säkerhet — alltså hur övertygade de låter — stämmer överens med hur väl de faktiskt presterar. Svaret är nedslående: sambandet försvinner nästan helt när man kontrollerar för hur svåra frågorna generellt är. Det är inte så att modellen vet att den är osäker på just den här frågan. Den speglar snarare frågans svårighetsgrad i allmänhet.

Detta är långt ifrån en akademisk kuriositet. Många AI-system är byggda på antagandet att en modells rapporterade säkerhet går att lita på. Tekniker som selektiv återhållsamhet — där modellen ska säga "jag vet inte" när den inte vet — förutsätter en metakognitiv förmåga som studien alltså visar saknas. Matematikuppgifter verkade till en början vara ett undantag, men det visade sig att modellerna där löste uppgifterna i stället för att reflektera över sin förmåga. En smart genväg, inte äkta självkännedom.

Logiken brister vid kritiska gränser

En andra studie introducerar riktmärket ChaosBench-Logic v2, med nästan 41 000 frågor utformade för att pressa modellers logiska resonemang kring dynamiska system. Resultaten är talande: när modellerna ombeds resonera kring så kallade regimövergångar — hur ett system beter sig när det passerar ett kritiskt gränsvärde — presterar även de mest avancerade modellerna nära slumpnivå.

Det finns vissa ljusglimtar. Modellerna klarar sig bättre när de ges tydliga premisser att arbeta utifrån, och det finns intressanta skillnader mellan modelltyper: proprietära modeller utmärker sig på att dra konsekvenser, medan öppna modellen Qwen 2.5-32B slår konkurrenterna på diagnostiska uppgifter. Men det mest oroväckande fyndet är att två modeller uppvisade systematiskt felaktiga svar på frågor om bifurkationer — alltså inte slumpmässiga fel, utan konsekvent fel resonemang. Det tyder på djupgående strukturella brister, inte tillfälliga snedsteg.

Tankegången som inte alltid är på riktigt

Den tredje studien tar sig an ett problem som länge diskuterats i forskningsvärlden men sällan lyfts i bredare sammanhang: att en modells synliga tankegång — den steg-för-steg-förklaring vi ser när modellen "tänker högt" — inte nödvändigtvis speglar hur svaret faktiskt genererades.

Modellen kan ta en dold genväg direkt från fråga till svar, och sedan konstruera en tillsynes logisk förklaring i efterhand. Det är som att fråga någon varför de fattade ett beslut och få ett välformulerat svar — utan att svaret har något att göra med den faktiska beslutsprocessen.

Forskarna har utvecklat ett ramverk som mäter tre egenskaper hos tankegångar: tillräcklighet, fullständighet och nödvändighet. Genom att analysera hur information flödar i modellen, med hjälp av entropi- och gradientbaserade mätmetoder, kan de identifiera när synliga resonemang är äkta och när de är fasad. De introducerar också träningsmetoder — bland annat maskering av uppmärksamhetsmekanismer och störningar av indata — för att tvinga modellen att faktiskt använda sin tankegång, inte bara visa upp en. Resultaten är lovande: metoderna gör genvägar och fuskbeteenden mer synliga, vilket underlättar mänsklig granskning.

Vad betyder det för tilliten?

De tre studierna pekar åt samma håll: vi har länge tillskrivit språkmodeller förmågor de inte riktigt besitter. Inte för att modellerna är dåliga — de är anmärkningsvärda tekniska prestationer — utan för att vi har tolkat deras imponerande yttre som tecken på djupare förståelse.

Självkännedom, logiskt resonemang vid komplexa gränstillstånd och transparent tankeprocess är tre hörnstenar för tillförlitliga system. Och just nu visar forskningen att alla tre behöver betydligt mer arbete.