AI-agenterna lovar mer än de håller – forskningen blottar grundläggande fel
AI-agenter lovas lösa allt – ny forskning avslöjar allvarliga grundfel.
En teknikvåg med enorm potential – och påtagliga brister
Det händer mycket, och det händer fort. Inom loppet av några veckor har forskare presenterat AI-agenter som genererar och felsöker robotkod för ABB:s industriplattform, styr drönarsvärmars vid brandbekämpning och sök- och räddningsinsatser, samt förbättrar sina egna arbetsmetoder i realtid utan att behöva pausas för omträning. Det är imponerande. Det är också ett tecken på att AI-agenterna som affärsidé börjar lämna laboratoriet och röra sig mot verklig tillämpning.
Men det är just i det steget – från kontrollerad forskningsmiljö till rörig verklighet – som sprickorna uppstår.
Agenter som tänker fel mängd
En av de mest fundamentala svagheterna har ingenting med säkerhet eller datakvalitet att göra. Det handlar om eftertanke. Ny forskning, utvärderad på etablerade riktmärken som MATH-500 och GAIA, visar att dagens AI-agenter saknar förmågan att anpassa sitt resonemang efter uppgiftens faktiska svårighetsgrad. De övertänker enkla frågor – vilket driver upp beräkningskostnaderna utan proportionerlig vinst i korrekthet – och undertänker komplexa, vilket ger felaktiga eller ofullständiga svar. För ett system som ska fatta beslut i en dynamisk produktionsmiljö är detta ett grundläggande problem.
Parallellt med detta har forskare presenterat PILOT, ett ramverk där en övervakande AI-instans kan styra om eller avbryta en aktiv underagent i realtid. Systemet minskade antalet genererade ord med upp till 47 procent och mer än fördubblades antalet lyckade utvärderingar per miljon genererade ord. Det är ett lovande steg mot agenter som faktiskt vet när de ska tänka mer – och när de ska sluta.
Minnessystem under press
Ett annat oroande fynd gäller agenternas minne. När AI-agenter arbetar med längre uppgiftssekvenser – inom terminalmiljöer, programutveckling eller webbaserade tjänster – riskerar de att lagra felaktiga erfarenheter som successivt förorenar framtida beslut. MemGuard adresserar detta genom att behandla verifieringsresultat som bestående metadata kopplade till varje minneselement, och presterade bättre än samtliga jämförelsesystem i alla 16 testkombinationer på riktmärken som SWE-Bench och WebArena.
Men minnesproblemen är inte enbart tekniska. Forskning kring ett nytt säkerhetsproblem visar att AI-beslut kan bli föråldrade innan de ens verkställs – i tester av fem simulerade miljöer hade mellan 5,3 och 48,4 procent av alla beslut förändrats när de exekverades. Metoden Freshness-Bounded Shield reducerade andelen föråldrade beslut från upp till 24,7 procent till under 1,8 procent, men problemet i sig illustrerar hur komplicerat det är att låta AI-system agera autonomt i realtidsmiljöer där omvärlden inte väntar.
Domarmodeller som inte kan döma
Ett av de mest tankeväckande fynden i den senaste forskningsvågen gäller hur vi utvärderar AI-agenter. AgentJudgeBench – det första systematiska riktmärket för att testa hur tillförlitliga domarmodeller är när de bedömer andra agenters verktygsanrop – avslölar ett strukturellt tak: utan tillgång till facitsvar konvergerar samtliga sex testade domare mot ett snävt intervall på 77–82 procent, oavsett modellstorlek. Ökad beräkningskraft löser inte problemet. Ännu märkligare: för modeller som GPT-4 och Gemini-2.5-Pro minskade faktiskt träffsäkerheten när de fick tillgång till facitsvar, troligen på grund av överdriven förankring vid referenssvaret.
Detta är inte en teknisk detalj. Om vi inte kan lita på att AI-system korrekt utvärderar andra AI-system, tappar vi en av de viktigaste mekanismerna för att säkra kvalitet i agentbaserade produktionsmiljöer.
Från teori till infrastruktur
Forskarvärlden börjar också ta kontrollfrågorna på allvar. Ett nytt ramverk med fem grundprinciper – identifiering, identitet, förvaltning, intygande och försörjningskedja – föreslår att en agents handlingar ska granskas mot fastställda riktlinjer innan de verkställs och loggas i ett kryptografiskt verifierbart register. Fyra av dessa principer körs redan i privata pilotprojekt. Kostnaden är ökad svarstid, men för säkerhetskritiska tillämpningar som drönare vid brandbekämpning eller autonoma robotceller i tillverkning är den avvägningen rimlig.
Riktmärket DuMateBench, byggt på anonymiserade användarsessioner från en storskalig produktionsplattform, visar att samtliga fem testade agentramverk kombinerade med fyra ledande språkmodeller presterar betydligt sämre än förväntat i röriga, verkliga miljöer. Det är inte ett underbetyg åt forskarsamhället – det är ett realistiskt kvitto på var vi befinner oss.
Tekniken mognar. Men mognad och driftsäkerhet är inte samma sak.
Vår analys
Det som slår mig när jag läser igenom den senaste forskningsvågen är inte att AI-agenter är opålitliga – det visste vi redan. Det som slår mig är att forskarsamhället nu systematiskt kartlägger var bristerna finns och presenterar konkreta lösningar med mätbara förbättringar. Det är en mognadsmarkör.
För företag och organisationer som utvärderar agentbaserad automatisering är budskapet tydligt: de tekniska grunderna förbättras snabbt, men infrastrukturen för kontroll, utvärdering och tillsyn halkar efter. Att köpa ett agentsystem idag utan att investera lika mycket i styrningsramverk är som att bygga en fabrik utan kvalitetskontroll.
Den mest strategiska insikten från denna forskning är att utvärdering är teknologins akilleshäl. När domarmodeller är opålitliga och riktmärken inte speglar verkliga miljöer, opererar vi i ett mätbart mörker. Organisationer som löser det problemet internt – innan det blir ett branschstandard – skapar ett genuint konkurrensförsprång. Det är dit investeringarna bör riktas nu.