AI låter övertygande — men forskning visar att systemen varken förstår rymden eller sig själva
AI låter övertygande – men vanliga människor slår modellerna i rumsligt tänkande.
Välformaterade svar döljer grundläggande brister
Det finns något nästan filosofiskt ironiskt med situationen vi befinner oss i. AI-systemen blir allt bättre på att låta som om de förstår — och allt svårare att avslöja när de inte gör det.
Fyra nya studier, publicerade på den vetenskapliga förhandsgranskningsplattformen arXiv, pekar sammantaget mot ett och samma problem: gapet mellan vad AI verkar kunna och vad den faktiskt kan är fortfarande anmärkningsvärt stort. Och det gapet är svårt att se med blotta ögat.
Ta rumsligt tänkande som ett första exempel. Forskare bakom riktmärket StateSight konstruerade tre uppgiftstyper — resonemang om kubiska nät, räkning av delvis dolda kubtorn och identifiering av sammankopplade komponenter — utformade specifikt för att isolera rumslig förståelse utan hjälp av språkliga ledtrådar. Resultaten var nedslående. GPT-5.5 nådde 59, 33 och 28 procents träffsäkerhet på de tre uppgifterna. Claude Sonnet 5 klarade sig ännu sämre på de svårare delarna, med knappt 7 procent på den tredje. En grupp om 30 vanliga människor slog båda modellerna på samtliga uppgifter med genomsnitt på 81, 69 och 64 procent.
Det intressanta är inte bara siffrorna — det är vad som döljs bakom dem. Forskarna betonar att välformaterade, övertygande svar kan maskera grundläggande missförstånd. Modellen låter säker. Den låter kunnig. Men den är i grunden vilse i rymden.
Modellen vet inte vad den vet
En ännu mer grundläggande brist avslöjas i en studie om självkännedom hos språkmodeller. Forskare testade åtta öppna modeller från sju olika modellfamiljer med hjälp av ett ramverk kallat OWMI, som manipulerade modellernas interna beräkningar och sedan frågade dem om de märkte det. Över 78 000 mätningar gav ett konsekvent svar: ingen modell presterade bättre än slumpen.
Det paradoxala — och det är verkligen paradoxalt — är att informationen faktiskt finns i modellerna. En enkel linjär klassificerare kunde identifiera manipulationerna med hög träffsäkerhet. Felet ligger alltså inte i att tillståndet är osynligt, utan i att modellen inte kan omvandla det interna tillståndet till en tillförlitlig verbal redogörelse. Modellen vet inte vad den vet, och det den säger om sig själv är i praktiken ogrundad gissning.
Detta är viktigt för alla som arbetar med tillförlitlighet och säkerhet inom AI: att fråga en modell om dess egna processer ger dig inte en inblick i dem. Det ger dig en språklig konstruktion som liknar en inblick.
Att förklara sig förändrar svaret
En tredje studie lägger till ytterligare ett lager av komplexitet. När forskare undersökte hur ett AI-system fattar beslut om att ingripa i konversationer, fann de en tydlig avvägning: den modell som inte visar sitt resonemang presterar bättre, medan den som tvingas synliggöra sina tankegångar blir mer genomsynlig — men sämre på att fatta rätt beslut.
Med andra ord: att kräva att ett AI-system ska förklara sig kan faktiskt förändra vad det gör, inte bara belysa det. Det är som att Heisenbergs osäkerhetsprincip dyker upp i maskininlärning — observationen påverkar det observerade.
Studien pekar också på metodologiska fällor. Vanliga mätverktyg för att bedöma om förklaringar är trovärdiga tenderar att överskatta tillförlitligheten, bland annat för att sannolikhetsmått mättas vid säkra beslut.
Mätverktygen är inte heller mogna
Den fjärde studien handlar om AI-agenters förmåga att revidera sina egna framgångskriterier — att inse när målet de försöker uppnå är fel och byta till ett bättre. Ingen enda testkörning uppfyllde alla krav för att bekräfta äkta kriterierevidering. Men forskarna är tydliga med att det inte nödvändigtvis bevisar att förmågan saknas — det kan lika gärna spegla att mätverktyget, CMB-0.1, är för svagt. En modell kunde ge korrekta svar utan att faktiskt ha reviderat något.
Därför presenterar forskarna ett förbättrat protokoll, CMB-0.4, med strängare krav. Det är ett ärligt och välkommet erkännande: vi kan inte mäta det vi inte förstår, och ibland måste vi börja med att bygga bättre mätverktyg.
Vad betyder allt detta?
Samtliga fyra studier pekar mot samma slutsats: vi befinner oss i ett skede där AI-systemens kapabiliteter är svåra att bedöma — inte för att de är för avancerade, utan för att vi saknar tillräckligt tillförlitliga sätt att granska dem. Det är ett ingenjörsproblem, inte ett ödesbestämt tillstånd. Men det är ett problem vi måste ta på allvar.
Vår analys
De här studierna är inte ett argument för att sluta använda AI — de är ett argument för att använda den med öppna ögon.
Jag ser ett tydligt mönster: våra verktyg för att bygga AI-system har sprungit ifrån våra verktyg för att förstå dem. Det är inte ovanligt i teknikens historia — vi använde broar länge innan vi hade fullständig materialmekanik — men inom AI är konsekvenserna mer svåröverskådliga, eftersom systemens beteende är så svårt att förutsäga i nya situationer.
Det uppmuntrande är att forskarna inte stannar vid kritiken. Förbättrade protokoll som CMB-0.4 och ramverk som OWMI visar att fältet aktivt arbetar med att skärpa sina mätmetoder. Det är precis vad som behövs.
För oss som bygger system med AI-komponenter handlar det om ett enkelt imperativ: validera beteende mot faktiska utfall, inte mot modellens egna utsagor om sig själv. Tillit förtjänas genom verifierbarhet — inte genom välformulerade svar.