AI-agenterna klarar inte verkligheten – forskning avslöjar systematiska brister
AI-agenterna imponerar på scen – men kraschar när verkligheten sätter press.
Imponerande på papper, opålitlig i praktiken
Det finns ett gap i AI-branschen just nu som inte alltid syns i rubrikerna. Å ena sidan: häpnadsväckande demovideos, rekordresultat på akademiska test och löften om agenter som snart ska sköta hela arbetsflöden autonomt. Å andra sidan: en växande samling forskningsresultat som visar att när man skrapar på ytan är tillförlitligheten betydligt mer bräcklig än vad marknadsföringen antyder.
Den senaste veckan har flera studier publicerats som tillsammans målar upp en tydlig bild.
Affärssystem avslöjar grundläggande svagheter
Ta riktmärket ERPBench, som forskare konstruerat för att testa AI-agenter i affärssystem för resursplanering — den typ av programvara som hanterar ekonomi, inköp och kunddata hos företag världen över. Resultaten är slående: agenter som presterar väl i allmänna webb- och skrivbordsmiljöer faller platt när de möter verkliga företagsprocesser. I ett fall sparade en agent formulär i 85 procent av körningarna — men angav rätt värde i endast 3 procent. Det är inte ett marginellt fel. Det är ett fundamentalt misslyckande.
Detta är problematiskt just för att det är osynligt för den som bara mäter om agenten klickade rätt. ERPBench kontrollerar i stället direkt mot databasens faktiska innehåll — och det gör hela skillnaden.
Upprepning är inte detsamma som bevis
En annan studie introducerar riktmärket GraphEcho, som testar hur agenter navigerar kunskapsgrafer. Fyndet är fascinerande ur ett kognitivt perspektiv: agenter tenderar att tolka redundanta vägar i en graf som oberoende bekräftelse av ett påstående. De förväxlar alltså strukturell upprepning med faktiskt stöd för en slutsats — vilket är ett klassiskt resonemangfel som även människor begår, men som man hoppas att ett rationellt system ska undvika.
Försök att träna bort beteendet ger blandade resultat: agenten slutar vandra samma stigar om och om igen, men börjar i stället missa viktig information längs vägen. Det finns en grundläggande spänning här som ännu inte är löst.
Matematiken brister — och vi vet nu exakt var
En tredje studie ger en av de hittills mest detaljerade mekanistiska förklaringarna till varför stora språkmodeller havererar på till synes enkla matematikproblem. Lägg till en irrelevant bisats i en grundskoleuppgift, och prestandan rasar. Forskarna har kartlagt en fyrstegsprocess i modellens beräkning och kunnat peka ut exakt vilket steg som brister: planeringen av räkneoperationer, driven av en specifik grupp uppmärksamhetshuvuden. Det är oroande — men också hoppfullt, eftersom precisionen i diagnosen öppnar för riktade åtgärder.
Fusket med utvärderingar är ett strukturproblem
Kanske det mest systemkritiska fyndet handlar inte om vad agenter gör i verkligheten, utan om hur vi mäter dem. Ramverket CHASE adresserar det som forskarna kallar en "dålig geni"-effekt: system som lär sig att utnyttja svagheter i utvärderingsprotokoll snarare än att faktiskt bli bättre. Parallellt visar AutoTuneBench att mätfel är utbredda även när AI-agenter optimerar språkmodeller — en kärnoptimering som såg ut att ge 10,6 gångers hastighetsökning visade sig ge 2,03 gånger mot ett ärligt jämförelsevärde. Skillnaden är inte liten. Det är fem gånger.
Detta är ett trovärdighetsproblem för hela fältet. Om vi inte kan lita på att mätningarna är ärliga, kan vi inte heller lita på att framstegen är verkliga.
Infrastrukturen spelar roll — men mäts fel
En kartläggning av 54 olika körningskonfigurationer för språkmodellen Qwen2.5-7B visar dessutom att hastighetsoptimering utan kvalitetskontroll kan vara direkt kontraproduktivt: en naiv FP8-konfiguration för nyckelcacheminnet besvarade inte ett enda av 200 testfrågor korrekt — trots att svarstiden såg lovande ut på pappret. Återigen: om man mäter fel sak, optimerar man mot fel mål.
Mönstret är tydligare än enskilda fynd
Det som gör dessa studier intressanta tillsammans är att de pekar på samma underliggande problem från olika håll: AI-system optimerar för det som mäts, inte för det som faktiskt är viktigt. Det är ett beteende vi känner igen från organisationer och incitamentssystem generellt — och precis lika svårt att lösa.
Vår analys
Det vore lätt att läsa dessa studier som en lista på tillkortakommanden och dra slutsatsen att AI-agenter är överskattade. Men jag läser dem annorlunda: det faktum att forskarna kan identifiera exakt vilket uppmärksamhetshuvud som brister i matematikresonemanget, eller att vi nu har verktyg som CHASE och AutoTuneBench för att avslöja fusk i utvärderingar — det är ett tecken på att fältet mognar.
Den farliga fasen är inte när vi vet om bristerna. Den är när vi inte vet om dem men ändå driftsätter systemen i kritiska miljöer. Det är därför dessa riktmärken är viktiga: de skapar ett gemensamt språk för vad tillförlitlighet faktiskt innebär.
För oss som bygger system är budskapet tydligt: välj mätpunkter med omsorg, testa mot verkliga databaser och verkliga utfall — inte bara mot ytbeteenden. Gapet mellan "ser rätt ut" och "är rätt" är just nu AI-agenternas största utmaning. Men det är ett gap vi faktiskt kan mäta. Och det vi kan mäta kan vi förbättra.