Forskningsstudier avslöjar: Så här begränsade är dagens AI-modeller

När AI-hypen möter verkligheten

I takt med att stora språkmodeller blir mer sofistikerade växer också förväntningarna på deras förmågor. Men sex nya studier från arXiv målar upp en mer nyanserad bild av AI:ns verkliga kapacitet – och avslöjar överraskande begränsningar som riskerar att undergräva våra högt ställda förväntningar.

Problemidentifiering: AI:ns största utmaning

En av de mest slående upptäckterna kommer från KWBench, det första riktmärket som testar AI-modellers förmåga att spontant identifiera problem i yrkessammanhang. Forskarna testade 223 uppgifter från områden som företagsförvärv och klinisk farmaci – situationer som kräver djup förståelse av underliggande strukturer snarare än bara mönsterigenkänning.

Resultatet var nedslående: den bästa modellen lyckades med endast 27,9% av uppgifterna. Ännu mer anmärkningsvärt var att modellerna kunde förklara relevanta begrepp när de frågades direkt, men misslyckades totalt med att tillämpa samma kunskap spontant. Det är som att ha en kollega som kan recitiera företagspolicy men inte förstår när den ska tillämpas.

Social intelligens: fortfarande science fiction

Ännu mer problematiskt är AI:ns sociala intelligens, eller snarare bristen på sådan. Det nya testsystemet SocialGrid placerade AI-agenter i en miljö inspirerad av Among Us, där de skulle samarbeta och upptäcka bedrägeri.

Resultaten var knappt bättre än slumpen. Även de starkaste modellerna kunde bara upptäcka bedrägeri på grundval av ytliga tumregler, inte genom att analysera beteendemönster som människor gör naturligt. Detta är särskilt problematiskt när AI-system förväntas fungera i komplexa organisationer där förtroende och social förståelse är avgörande.

Strukturell förståelse: ytan vs. djupet

Forskare testade också AI-modellers förmåga att förstå komplexa strukturer genom ReactBench, som använder kemiska reaktionsdiagram. Medan modellerna hanterade enkla linjära strukturer väl, försämrades prestandan dramatiskt – med över 30 procent – när de konfronterades med komplexa topologiska samband.

Detta avslöjar en grundläggande begränsning: AI-modellerna är skickliga på mönsterigenkänning inom bekanta domäner, men kämpar med att generalisera strukturell förståelse till nya sammanhang.

Metakognition: storlek löser inte allt

En annan överraskning kom från studier av metakognition – AI:ns förmåga att reflektera över sitt eget tänkande. MEDLEY-BENCH testade 35 modeller och fann att större modeller visserligen blev bättre på att utvärdera sitt eget tänkande, men inte på att faktiskt kontrollera och förbättra sina tankprocesser.

Detta utmanar den vanliga uppfattningen att "större alltid är bättre" inom AI-utveckling. Istället pekar resultaten på att vi behöver mer sofistikerade träningsmetoder som fokuserar på kvalitet snarare än kvantitet.

Träningsparadoxer och beroenderisker

Två ytterligare studier avslöjar oväntade problem med hur AI-modeller lär sig. LoRA-finjustering, en populär träningsmetod, visade sig faktiskt göra modeller sämre på att hantera komplexa fall där även människor är oeniga. Det är som om AI:n "glömmer bort" de svåraste exemplen för att fokusera på enkla fall.

Ännu mer alarmerande är dokumentationen av hur en forskare utvecklade destruktivt beroende av AI inom bara 48 timmar, vilket understryker vikten av genomtänkt systemdesign som bevarar mänsklig autonomi.