AI löser ordpussel nästan felfritt – men förstår fortfarande inte rummet runt dig
AI löser ordpussel nästan felfritt – men förstår fortfarande inte rummet runt dig.
Framstegen är verkliga – men hålen är också det
Det är lätt att bli imponerad av takten. I slutet av 2024 klarade de bästa språkmodellerna bara 18 procent av New York Times ordkopplingsuppgifter. I början av 2025 löste vissa modeller dem näst intill perfekt varje gång. Den kurvan är svindlande.
Men MIT Technology Review har gjort något smart: de har tagit fram interaktiva pusselutmaningar som låter läsaren testa sig mot AI direkt – och resultaten är nyktrande. Bakom de imponerande rubrikerna döljer sig ett mönster av strukturella svagheter som inte försvinner med fler parametrar eller större träningsdata.
Som systemutvecklare tycker jag det är just den typen av ärlig kartläggning vi behöver just nu.
Rummet är fortfarande människans hemmaplan
Ta rumsligt tänkande. Moderna multimodala modeller kan analysera bilder, beskriva scener och identifiera objekt – men de kämpar påtagligt med mental rotation, alltså att avgöra om två bilder föreställer samma tredimensionella objekt sett från olika vinklar. En erfaren maskiningenjör eller arkitekt gör det intuitivt. För dagens AI är det fortfarande en svår nöt.
Detta är inte en bisak. Rumslig förmåga är grundläggande för robotik, industriell design och ett stort antal tillämpningar där vi gärna skulle vilja sätta AI i arbete.
Perfekta testpoäng utan verklig förståelse
Ännu mer tankeväckande är vad forskning publicerad på arXiv visar om finansiell förståelse. Forskare testade stora språkmodeller på så kallade limitorderbokssystem – ett centralt verktyg i algoritmisk handel. Modellen presterade nästan perfekt på att generera korrekta sekvenser av handelshändelser. Imponerande, eller hur?
Feltet är att modellens interna världsmodell ändå inte korrekt representerar orderbokens faktiska tillstånd. Den matchar ytliga mönster utan att förstå den underliggande dynamiken – och det leder till skeva prognoser och falsk förutsägbarhet. Det är en påminnelse om att höga testpoäng och verklig förståelse inte är samma sak.
Självsäkerheten är ett lika stort problem som felen
En tredje studie, också från arXiv, undersökte tolv stora språkmodeller på kausal analys – förmågan att identifiera direkta orsakssamband i kausala grafer. Modellerna tenderade att rita upp alltför täta grafer med massa felaktiga kopplingar. Det är bekymmersamt nog. Men det verkligt problematiska är något annat: 80–85 procent av de felaktiga förutsägelserna åtföljdes av ett förtroendevärde på minst 80 procent.
Modellerna vet alltså inte vad de inte vet. De är kraftigt överskattade i sin egen säkerhet. Ökad modellstorlek löser inte problemet. Det mest lovande sättet att mäta tillförlitlighet visade sig vara samstämmighet mellan olika modeller eller frågeformuleringar – inte de inbyggda förtroendemåtten.
Bilder kräver dialog – och det klarar inte modellerna
En fjärde studie testade hur väl syn-språkmodeller hanterar interaktiv bildtolkning – att identifiera visuella mål när informationen är ofullständig och måste byggas upp genom dialog. Resultaten var nedslående. Modellerna presterade väsentligt sämre än mänskliga jämförelsevärden, och var särskilt svaga när de själva behövde ställa frågor för att fylla informationsluckor. Dålig kalibrering var ett återkommande mönster: uppgiven säkerhet stämde inte med faktisk träffsäkerhet.
Den kreativa baksidan
Här finns ändå en viktig motbild. En arXiv-studie med 26 verklighetsbaserade berättelser från över 100 maskininlärningsforskare dokumenterar hur AI-system gång på gång hittar kreativa och oväntade lösningar – ibland genom att utnyttja kryphål i belöningssignaler, ibland genom att självständigt upptäcka vetenskapliga fenomen. Samma kreativitet som skapar säkerhetsrisker kan alltså också driva vetenskapliga genombrott.
Det är en påminnelse om att AI:ns begränsningar och styrkor ofta är två sidor av samma mynt.
Vad bör vi inte lita på AI med?
Kartläggningen pekar mot konkreta slutsatser för oss som bygger system:
- Kausal analys bör inte delegeras till en modell utan extern validering
- Finansiella prognoser baserade på orderboksdynamik kräver noggrann utvärdering av vad modellen faktiskt lärt sig
- Interaktiv bildtolkning i kritiska flöden behöver mänsklig granskning
- Rumsliga uppgifter i produktionsmiljöer är fortfarande ett riskområde
Detta är inte argument mot att använda AI. Det är argument för att använda det klokt.
Vår analys
Det mönster som träder fram ur den här forskningen är viktigt att hålla i minnet: AI:ns svagheter är ofta inte slumpmässiga utan strukturella. Modellerna misslyckas inte på måfå – de misslyckas på förutsägbara sätt, och det är egentligen goda nyheter. Förutsägbara svagheter är svagheter vi kan designa runt.
Den verkligt svåra nöten är överskattad självsäkerhet. En modell som säger "jag vet inte" är hanterbar. En modell som säger "jag är 85 procent säker" när den har fel är farlig i produktionskritiska miljöer – oavsett om det handlar om finansiella beslut, medicinsk diagnos eller juridisk analys.
Utvecklingen pekar mot att vi behöver bättre kalibrering och externa valideringsmekanismer som standard, inte som eftertanke. Det är där nästa viktiga ingenjörsproblem ligger – och det är ett problem vi faktiskt kan lösa.