Forskning avslöjar stora brister bakom AI-modellernas imponerande prestanda
Forskning avslöjar att AI-modeller främst härmar istället för att förstå.
Intelligens eller avancerad mimikry?
En våg av nya forskningsstudier från arXiv ger en ernyktrande bild av var dagens AI-modeller verkligen står. Bakom de imponerande resultaten i standardtest döljer sig betydande brister som utmanar vår förståelse av vad dessa system faktiskt kan.
En av de mest slående upptäckterna kommer från forskning som visar att språkmodellers framgångar ofta beror på memorering snarare än förståelse. När forskare skapade ett nytt Monty Hall-problem och jämförde AI-svar med mänskliga resonemang skiljde sig resultaten markant åt. Det som tidigare såg ut som förbättrat logiskt tänkande hos modeller som ChatGPT visade sig snarare vara resultatet av att fler människor hade skrivit om problemet online.
Minnessvek under tryck
En särskilt intressant upptäckt är hur AI-modeller systematiskt glömmer bort instruktioner när de pressas. I studier av över 8 000 uppmaningar sjönk modellernas förmåga att följa formateringsregler med 2-21 procent under belastning. Slutrestriktioner – regler som kräver specifika åtgärder i slutet av svaret – påverkades värst, med upp till 50 procent sämre efterlevnad.
Fenomenet påminner om "prospektivt minne" hos människor – vår förmåga att komma ihåg planerade handlingar. Skillnaden är att när vi människor glömmer, förstår vi ofta varför. AI-modellerna saknar denna metakognitiva medvetenhet, även om ny forskning visar att de senaste modellerna från 2024 börjar utveckla viss förmåga att bedöma sin egen säkerhet.
När geometrin kollapsar
På djupare teknisk nivå har forskare kartlagt hur AI-modeller skapar logiska avgränsningar genom så kallad "topologisk förvrängning". Detta är modellernas sätt att hantera konflikten mellan mjuk språkförståelse och strikt logiskt resonemang. När denna mekanism experimentellt togs bort kollapsade modellernas förmåga att klassificera jämna och udda tal från 100 procent till slumpmässig nivå.
Studien förklarar också varför AI-modeller ibland hallucinerar eller blir översmickrande – under social press lyckas de inte generera tillräcklig "geometrisk divergens", vilket leder till att olika koncept blandas ihop.
Praktiska konsekvenser synliga överallt
Dessa fundamentala brister märks tydligt i verkliga tillämpningar. En ny utvärderingsmetod som kombinerar symboliska regler med mekanisk tolkbarhet avslöjade att en modell med 94 procent träffsäkerhet i SQL-översättning i själva verket bröt mot grundläggande schemagenereringsregler – något som var helt osynligt för traditionella noggrannhetsmått.
Inom medicin visar MedMT-Bench att samtliga 17 testade toppmodeller presterade under 60 procents träffsäkerhet i långa diagnostiska samtal. Den bästa modellen nådde endast 59,75 procent, vilket understryker bristerna i långsiktigt minne och säkerhetsaspekter.
Multimodala modeller som kombinerar text och bild har egna utmaningar. Forskning visar att de särskilt brister i "Nivå 2 visuospatial perspektivtagande" – förmågan att undertrycka sitt eget perspektiv för att förstå någon annans synvinkel. Detta begränsar deras användbarhet i sociala och samarbetsinriktade sammanhang.
Även självkännedomen är begränsad
Intressant nog kan vissa AI-modeller känna igen texter de själva har genererat, men denna "självuppfattning" är sårbar för manipulation. Forskare kunde få modeller att påstå eller förneka författarskap genom att manipulera specifika vektorer under textgenereringen – ett resultat som väcker viktiga frågor om AI-säkerhet.
Vår analys
Dessa forskningsresultat målar upp en bild av AI-system som är imponerande ytligt skickliga men fundamentalt begränsade. Det som är mest slående är inte att bristerna finns – det är hur systematiska de är och hur de ofta döljs bakom imponerande benchmarkresultat.
För oss som bygger system betyder detta att vi måste vara betydligt mer sofistikerade i hur vi utvärderar och implementerar AI. Traditionella noggrannhetsmått räcker inte – vi behöver djupare förståelse för när och varför modeller misslyckas.
Jag ser detta som en naturlig mognadsfas för branschen. Precis som vi inom systemutveckling lärde oss att skilja mellan fungerande kod och robust kod, måste vi nu lära oss skillnaden mellan imponerande AI och pålitlig AI. Det handlar inte om att förkasta tekniken, utan om att använda den med ögonen öppna för dess verkliga kapacitet och begränsningar.
De modeller som kommer härnäst behöver byggas med dessa lärdomar i grunden – inte som efterhandstanke.