Tidigt felsteg förgiftar allt som följer: så rasar AI-agenternas förmåga när uppgifterna blir komplexa
Ett enda felsteg tidigt i kedjan får hela AI-agentens förmåga att rasa samman.
När kedjan brister
Tänk dig ett vattenrör med tolv kopplingar. Håller elva av dem perfekt men den tredje läcker, spelar det ingen roll hur bra de andra är – vattnet når aldrig fram. Ungefär så fungerar felspridning i AI-agentsystem, och det är ett problem som forskarvärlden nu tar på alltvar.
En studie publicerad på arXiv visar att AI-agenter som utför flerstegsuppgifter med externa verktyg förlorar ungefär 70 procent av sin ursprungliga förmåga vid uppgifter med sex steg eller fler. Orsaken är enkel men obarmhärtig: ett tidigt fel – fel verktyg valt, eller fel argument skickat – korrumperar tyst alla efterföljande steg i kedjan. Det som ser ut som ett litet snedsteg i början kan göra hela körningen meningslös.
Samtidigt rapporterar en separat studie, baserad på 147 dokumenterade driftstörningar i ett produktionssystem för mjukvaruleverans, att de grundläggande mekanismer vi förlitar oss på för felhantering – automatiska omförsök, felfrekvensbrytare – inte fungerar som avsett i agentmiljöer. I ett fall var 54 på varandra följande lyckade anrop helt osynliga för feldetektionen. I ett annat fick felaktiga signaler systemet att aktivt reparera kod som faktiskt fungerade. Forskarna bakom studien föreslår sju nya tillförlitlighetsprinciper där hela delegeringskedjan – inte enskilda meddelanden – utgör kontrollenheten.
Konfigurationen spelar större roll än modellen
Ett av de mest överraskande fynden i det senaste forskningsläget handlar inte om vilken modell man väljer, utan om hur den är inställd. En studie jämförde två konfigurationer av exakt samma system på kodningsbenchmarken SWE-bench Verified. Den enda skillnaden: den ena versionen komprimerade äldre konversationshistorik automatiskt när minnesutrymmet fylldes, den andra sparade allt.
Resultatet var slående. Med begränsat minnesfönster ökade andelen lösta uppgifter från 43 till 72 procent – utan någon modellspecifik finjustering. Slutsatsen som forskarna drar är viktig för hela branschen: modell och konfiguration måste utvärderas som en gemensam enhet, inte som separata komponenter.
Detta bekräftas också av en studie om hårdvarudesign med lokalt driftsatta modeller, där detaljerade verktygsbeskrivningar konsekvent minskade fel, medan flershotspromptning i vissa fall orsakade allvarlig passivitet hos modellerna.
Minnesproblem – och lovande lösningar
En återkommande utmaning i nästan all agentforskning är minnesbegränsningen. När en agent arbetar länge växer konversationshistoriken och prestandan försämras. Här pågår intensiv metodutveckling.
Systemet SKILL.state löser problemet genom att ersätta den ackumulerande historiken med ett strukturerat körningstillstånd – mellanliggande tankesteg kastas bort direkt efter användning, och modellen får vid varje steg bara det som verkligen behövs. Scroll tar en annan väg och lagrar data i variabler inom en sandlådemiljö med Python, där agenten söker och hämtar information precis när den behövs. Resultaten är imponerande: 94,8 procent på LongMemEval och en förbättring med 37,4 procentenheter på LOCA-testet jämfört med tidigare toppresultat.
Dock är det värt att notera att det kognitiva minnessystemet ECHO, trots höga siffror i interna tester, presterade sämre än det etablerade systemet Mem0 i ett matchat jämförelsetest. En intern granskning avslöjade dessutom att vissa sökregler oavsiktligt sammanföll med testdatan – en påminnelse om att imponerande benchmarksiffror inte alltid berättar hela sanningen.
Agenter i verkligheten – och vad som saknas
Mitt i tillförlitlighetsproblemen finns konkreta genombrott värda att lyfta. Ett forskarlag har visat att ett system med tre samverkande AI-agenter kan sköta hela arbetsflödet för ett atomkraftsmikroskop på nanonivå – i nivå med erfarna operatörer, och med en inbyggd säkerhetsfunktion som reducerade felaktiga kommandon till noll i testerna. Det är inte en demonstration, det är ett fungerande system i ett verkligt laboratorium.
För att göra agentsystem mer överskådliga presenterar en annan forskargrupp en metod som komprimerar agenters beteendemönster till kompakta tillståndsmaskiner med bara 7–43 tillstånd. Dessa kan förutsäga fel med en träffsäkerhet upp till 0,94 och stoppa misslyckade körningar i realtid – en lovande väg mot säkrare och mer granskningsbara system.
På fronten för vetenskapliga tillämpningar visar en jämförelse att AI-system vinner bara 23 procent av matcherna mot mänskligt skrivna litteraturöversikter när domänexperter bedömer kvaliteten. Autonoma agenter är alltså fortfarande klart underlägsna erfarna människor i uppgifter som kräver djup ämneskunskap och kritiskt omdöme.
Bilden som träder fram är inte en bild av misslyckande – den är en bild av ett fält i intensiv mognadsfas.
Vår analys
Det som slår mig när jag läser igenom den här forskningsvågen är hur mycket av problemet som är arkitektoniskt snarare än modellberoende. Vi tenderar att diskutera AI-agenter som om det handlade om att välja rätt språkmodell – men forskningen visar gång på gång att konfiguration, minnesstrategi och felhanteringslogik spelar minst lika stor roll.
Det är faktiskt uppmuntrande, om man tänker efter. Det betyder att vi inte behöver vänta på nästa modellgeneration för att lösa de mest akuta problemen. Bättre minnessystem, tydligare verktygsbeskrivningar och tillförlitlighetsprinciper anpassade för delegerade uppgiftskedjor – det är ingenjörsproblem vi kan ta itu med nu.
Det som återstår är att bygga robusta utvärderingsramverk som faktiskt mäter det vi bryr oss om: inte hur bra en agent presterar på ett enskilt steg, utan hur systemet beter sig när kedjan är lång och felen börjar hopa sig. Där har forskningen fortfarande en bit kvar att gå – och det är där nästa genombrott sannolikt kommer att ske.