AI-agenterna klarar delproven – men kugghjulen hakar upp sig när uppgifterna växer
AI-agenter klarar deltester men havererar när uppgifterna blir komplexa.
Testpoängen ljuger inte – men de berättar inte hela sanningen
Det finns något nästan ironiskt med hur AI-agenter presenteras i dag. Benchmarkresultaten ser fantastiska ut. Demonstrationerna imponerar. Och ändå, när man sätter agenterna på riktiga, sammansatta uppgifter i verkliga miljöer, börjar sprickorna visa sig.
En ny forskningssyntes som granskat 27 studier från 2023 till 2026 identifierar sex återkommande felkategorier hos agenter baserade på stora språkmodeller: felaktig verktygsanvändning, bristfällig planering, försämring vid långa resonemangkedjor, samordningsproblem mellan flera agenter, säkerhetsbrister vid otydliga instruktioner – och, kanske mest oroande, mätproblem i utvärderingsmetodiken. Det vill säga: vi vet inte alltid ens när de misslyckas.
Det handlar inte om enstaka kantfall. Felen förvärras oproportionerligt när uppgifterna växer i längd och komplexitet. En agent som klarar delmoment A och delmoment B behöver inte alls klara uppgiften A+B. Och extra stödstrukturer – mer kontext, fler instruktioner – förbättrar inte alltid saken.
Minnet är en flaskhals – och forskningen attackerar den från flera håll
En stor del av problemen verkar ha sina rötter i hur agenter hanterar minne och kontext. Här pågår ett intensivt byggande.
Ett konkret arkitekturproblem är latens. Forskning bakom systemet som presenteras i en ny arXiv-studie visar att minnesåtkomst via nätverk kan öka en agents totala svarstid med upp till 83 gånger – ett problem som löses dramatiskt genom att flytta minnet inuti agentens egna beräkningslöp. Med lokal minneshantering sjunker svarstiden till runt 100 mikrosekunder, och redundanta åtgärder hos agenten försvinner nästan helt.
Ett annat angreppssätt presenteras i Akashic, ett minnessystem som organiserar kontexthistorik i avgränsade block med semantiska samband mellan dem. Resultatet är upp till 10,2 procentenheters förbättrad träffsäkerhet och 88 procents ökad hållbar förfrågningskapacitet jämfört med tidigare lösningar.
NapMem tar en annan väg och låter agenten själv navigera aktivt i en strukturerad minnespyramid – från råa konversationer till användarprofilnivå – i stället för att passivt ta emot förvalda utdrag.
Och StateFuse adresserar ett problem som sällan diskuteras: när flera agenter arbetar parallellt uppstår motstridiga observationer. I stället för att dölja konflikterna genom att skriva över gammal data bevarar StateFuse dem explicit och spårbara. Systemet lovar inte bättre träffsäkerhet generellt, men erbjuder något kanske viktigare: ett granskningsbart minnesgränssnitt.
Att veta när man ska ge upp är också en förmåga
En av de mer praktiskt användbara rönen handlar om misslyckandeprognostik. Forskning visar att det går att förutspå om en agents körning kommer att misslyckas redan efter första interaktionsomgången – inte genom att titta på beteendet, utan på modellens interna representationer. Enkla mätningar av dolda aktiveringar räcker. Det praktiska systemet som byggts på insikten sparar upp till 47 procent av beräkningskraften, medan framgångsrika körningar bevaras i nio fall av tio.
Det är elegant: i stället för att bara göra agenterna bättre på att lyckas, gör man dem också bättre på att känna igen när de kommer att misslyckas.
Bättre träning, smartare verktygsval och striktare säkerhet
På träningssidan presenteras TurnOPD, som effektiviserar policydestillation för långa uppgiftskedjor genom adaptiv djupstyrning och progressiv förlustnormalisering – i praktiken att modellen tränas mer balanserat på de beslutspunkter som faktiskt spelar roll.
SkillReranker angriper ett besläktat problem: när agenter har tillgång till stora bibliotek av färdigheter och verktyg blir valet rätt verktyg svårt. Ramverket bryter ned uppgifter och färdigheter i delar och bygger en riktad graf över sambanden – resultatet är färre interaktionssteg och lägre resursförbrukning.
Säkerhetsaspekten hanteras av PORTICO, som inför tidsbegränsade behörigheter för kodningsagenter. När en deluppgift är klar återkallas behörigheterna automatiskt. I tester blockerades samtliga obehöriga återanvändningsförsök.
Och i den mest specialiserade tillämpningen presenteras Danus, ett orkestreringssystem för matematiska bevisagenter som använder en delad faktgraf som gemensamt minne – där varje påstående verifieras av en statslös granskare innan det läggs till i beviskedjan. Matematikforskning på agentnivå, med öppen källkod.
Bilden som växer fram
Tagna tillsammans berättar dessa studier en sammanhängande historia: AI-agenters nuvarande brister är välförstådda, systematiska och – det viktigaste – adresserbara. Det är inte en fråga om om vi löser dem, utan när och i vilken ordning.
Vår analys
Det som slår mig i det här forskningslandskapet är mognaden i felsökningen. För ett år sedan dominerades diskussionen av imponerande demonstrationer. Nu ser vi istället en disciplinerad kartläggning av exakt var agenterna brister och varför – och ett ekosystem av riktade lösningar som växer fram parallellt.
Det är ett klassiskt mönster i mogen mjukvaruutveckling: när du förstår felen tillräckligt väl för att kategorisera dem, är du också nära att kunna åtgärda dem systematiskt.
Minneshantering pekar ut sig som det mest kritiska skiktet just nu – latens, kontext, konflikter och aktiv sökning är alla separata problem som får separata lösningar. Det tyder på att minneslagret inom kort kommer att stabiliseras till ett fåtal dominerande mönster, ungefär som databaser en gång gjorde.
Den stora öppna frågan är sammansatt tillförlitlighet: att klara A och B garanterar inte A+B. Det är det svåraste problemet – och det löser ingen av dessa studier ensamma. Men riktningen är rätt.