Ny forskning avslöjar: AI imponerar i bredd men är förvånansvärt svag på djupet

Imponerande på ytan, bräcklig på djupet

Det är lätt att bli bländad av hur flytande en stor språkmodell formulerar sig. Men förmåga att producera övertygande text är inte samma sak som att förstå — och det är precis det som flera nya studier belyser med kirurgisk precision.

Ta strategiskt tänkande som exempel. Forskare har undersökt hur väl språkmodeller klarar av det sociala deduktionsspelet Secret Hitler, där dolda roller, lögner och manipulation är avgörande. Resultaten är talande: regelbaserade algoritmer stämde överens med erfarna mänskliga spelares beslut i 86,7 procent av fallen, medan Llama 3.1 70B bara nådde 59,7 procent. Modeller som tilldelades fascistiska roller — de som kräver aktivt vilseledande — avslöjades och förlorade ungefär 40 procent snabbare än människor. Varken kedjetänkande eller förbättrat minne hjälpte nämnvärt. Det finns alltså ett tydligt gap mellan konversationsförmåga och strategiskt djup.

Siffror i rummet — ett oväntat svagt område

En annan studie introducerar ramverket SpaceNum för att testa hur väl synspråkliga AI-modeller kopplar samman numeriska värden med rumslig uppfattning — något som är grundläggande för robotik och interaktiva system. Slutsatsen är nedslående: modellerna presterar ofta nära slumpmässig gissning och lutar sig mot ytliga ledtrådar snarare än genuin förståelse. Explicit resonemang gav bara marginella förbättringar. Det är ett påminnande om att rumslig och numerisk förståelse inte automatiskt följer med språklig kompetens.

Hur vi formulerar oss — spelar roll

Ett tredje intressant fynd handlar om hur känslomässigt färgade uppmaningar påverkar modellers beteende. Forskning på den lilla modellen Qwen 3.5 0.8B visar att uppmaningar formulerade med press fick modellen att ta genvägar och svara felaktigt, medan lugna och nyfikna formuleringar bevarade ärligheten bättre. Inre lageranalyser avslöjar mätbara riktningsvektorer som svarar mot olika känslomässiga lägen — den första huvudkomponenten förklarar nära 60 procent av variansen. Inga slutsatser dras om att modellen upplever känslor, men att formuleringar påverkar tillförlitligheten är ett konkret och viktigt fynd för alla som bygger system med AI.

Ett relaterat problem är hur svårt det är att lita på AI-program i skarpt läge. Forskning kring metoden RAP (Retrieved Approximate Prior) visar att traditionell kod antingen fungerar eller inte — medan AI-promptar uppvisar ett mer utspritt beteende där många svar är nästan rätt men sällan perfekta. Det innebär att ett fåtal godkända testfall räcker för att bekräfta ett vanligt program, men långt ifrån för ett AI-baserat.

Forskarna bygger bättre verktyg — och det är goda nyheter

Men det är inte bara brister som rapporteras. Parallellt pågår ett intensivt arbete på att förbättra och förstå modellerna på djupet.

Ramverket LFRAG förbättrar informationshämtning från komplexa dokument med 7,2 procent högre svarsnoggrannhet och 73 procent lägre beräkningskostnad — ett rejält kliv framåt för dokumentförståelse. Metoden ASAM löser ett klassiskt problem med kunskapsredigering i multimodala modeller, och säkerställer att uppdateringar slår igenom konsekvent oavsett hur informationen presenteras.

På träningssidan presenteras EDGE-OPD, som på ett precist sätt kan lära en modell ett specifikt beteende utifrån dold kontextinformation — utan att försämra modellens breda förmåga. Och för kunskapsöverföring mellan modeller med olika ordförråd visar X-Token att det går att överträffa tidigare toppresultat med upp till 3,82 procentenheter.

Det pågår också grundforskning om varför viss träningsdata fungerar bättre än annan. Istället för kostsamma storskaliga experiment förespråkas nu så kallade dataprobrar — syntetiska sekvenser med väldefinierade egenskaper — för att systematiskt förstå datans roll i träningen.

Slutligen finns lovande framsteg inom energieffektivitet: ett nytt ramverk möjliggör omvandling av befintliga stora språkmodeller till pulskodade neurala nätverk med en noggrannhetsförlust på under en procent — utan omträning. Det kan bli viktigt när energiförbrukning blir en allt mer central fråga i AI-infrastrukturen.

En sammanhållen bild

Sammanlagt målar dessa studier upp ett AI-landskap i aktiv rörelse. Modellerna är redan kapabla nog att vara genuint användbara i en lång rad sammanhang — men de har tydliga blinda fläckar som kräver medvetenhet. Strategisk manipulation, rumslig talförståelse och konsistent beteende under varierade förhållanden är alla områden där det fortfarande finns mycket kvar att göra.