Därför misslyckas AI med att skriva romaner – och andra dolda svagheter

När AI träffar väggen

Det är en märklig paradox i dagens AI-landskap. Språkmodeller som kan lösa komplexa matematikproblem och generera funktionell kod kämpar fortfarande med något så grundläggande mänskligt som att berätta en bra historia. Ny forskning från arXiv börjar nu förklara varför – och svaret ligger djupt i hur dessa system är byggda.

Berättandets tekniska utmaning ligger enligt forskarna i vad som kallas "AI-skönlitteraturparadoxen". Trots att modellerna tränas på enorma mängder kvalitetslitteratur, kan de inte själva producera övertygande fiktion. Problemet är arkitektoniskt: bra berättelser kräver att händelser känns både överraskande i stunden och oundvikliga i efterhand – något som direkt strider mot hur transformermodeller genererar text framåt i tiden.

Men skönlitteratur är bara toppen av isberget. En ny testmetod kallad Brittlebench avslöjar att språkmodeller är förvånansvärt känsliga för små variationer i inmatning. Även enkla stavfel eller omformuleringar kan försämra prestandan med upp till 12 procent, och en enda förändring kan ändra rangordningen mellan olika modeller i 63 procent av fallen.

Genombrott som förklarar gåtor

Samtidigt börjar forskare förstå några av de mer mystiska fenomenen i AI-träning. Det märkliga "grokking"-fenomenet – när modeller plötsligt utvecklar förståelse långt efter att ha memorerat träningsdata – har äntligen fått en matematisk förklaring. Forskare har tagit fram den första kvantitativa skalningslagen som visar att denna fördröjning skalas omvänt med viktminskning och inlärningshastighet.

Detta har lett till praktiska genombrott. Genom "planvillkorning" – en teknik där modeller först skapar en kort naturlig språkplan på cirka 100 ord som styr resonemangsprocessen – har forskare dramatiskt förbättrat prestandan på matematiska problem från 75,6% till 87,2%. För kodproblem var förbättringen ännu större: från 37,2% till 50,0%.

Transparens som lösning

En lovande utveckling är forskning kring tolkningsbar AI för kritiska beslut. Istället för att låta modeller direkt bedöma varje enskilt fall, låter nya metoder språkmodeller generera körbar kod som människor kan granska och förstå. I tester på riskkapitalanalys uppnådde denna metod samma precision som GPT-4o, men med full genomskinlighet i beslutsprocessen.

Det här är särskilt viktigt eftersom det visar vägen mot AI-system som inte bara presterar bra, utan också kan förklara sina beslut på ett sätt som människor kan förstå och verifiera.

Mönstret framträder

Vad som framträder från denna forskning är en bild av dagens språkmodeller som kraftfulla men överraskande specialiserade verktyg. De excellerar på strukturerade problem med tydliga regler – matematik, kod, logiska resonemang – men kämpar med uppgifter som kräver djup förståelse för mänsklig psykologi, subtila berättartekniker eller robust hantering av vardaglig språkvariation.

Detta är inte nödvändigtvis dåliga nyheter. Det betyder att vi börjar förstå både möjligheterna och begränsningarna hos nuvarande AI-arkitekturer. Och som forskningen om planvillkorning och tolkningsbar AI visar: när vi förstår problemen kan vi också börja lösa dem.