AI-agenterna förstår problemet – men gör ändå fel
AI-agenter förstår felet – men gör det ändå i fyra fall av tio.
Rätt diagnos, fel recept
Föreställ dig en läkare som korrekt identifierar patientens sjukdom men ändå ordinerar fel medicin. Det är i princip det mönster som ett forskarlag beskriver i sitt nya riktmärke STOCKTAKE, som simulerar 26 veckors lagerhantering för att mäta vad de kallar vetande-görande-klyftan hos AI-agenter.
Resultaten är slående: de testade modellerna — däribland Claude Sonnet 5, GPT-5.4 och Grok 4.5 — identifierade dolda problem med 84–88 procents träffsäkerhet. Ändå presterade hälften av modellerna sämre än ett enkelt referenssystem utan någon situationsmedvetenhet alls. I 34–43 procent av fallen där en agent korrekt diagnostiserade ett problem uppstod lagerbrist ändå. Det är inte ett kunskapsproblem. Det är ett handlingsproblem.
Det här är kanske den mest grundläggande insikten från veckans forskarflod: förståelse och förmåga att agera är inte samma sak, och vi har länge utvärderat det förstnämnda när vi egentligen velat mäta det sistnämnda.
Agenter som fastnar i gamla spår
Ett annat forskarlag har lånat begreppet set-shifting från kognitiv psykologi för att undersöka en besläktad svaghet: vad händer när förutsättningarna förändras mitt i en pågående session? Svaret är oroande. När pålitliga verktyg byttes ut utan förvarning fortsatte agenterna att använda sina tidigare favoriter — trots att de inte längre fungerade. De fastnade i rutiner.
Detta bekräftas av ett parallellt fynd från riktmärket MCPEvol-Bench, som testar hur agenter klarar sig när verktygsgränssnitt uppdateras över tid. GPT-4.5 och Claude Sonnet 4 tappade 13–14 procent i prestanda efter verktygsuppdateringar, och felen i planering ökade markant. I en verklig driftsmiljö — där API:er, tjänster och gränssnitt ständigt förändras — är det här en allvarlig sårbarhet.
Kontexten spelar en underskattad roll
En tredje studie lyfter fram ett perspektiv som ofta glöms bort i debatten om agenternas begränsningar: kanske är det inte alltid agenten som är problemet, utan miljön den verkar i. Genom ramverket ProofAgent-Harness visade forskarna att bristande faktaunderlag leder till ökad hallucinering, svaga skyddsregler ökar sårbarheten för manipulation, och otydliga verktygsbeskrivningar försämrar hur verktygen används — allt medan själva språkmodellen hölls konstant.
Det är en viktig nyansering. Att bygga robusta AI-agenter handlar inte bara om att träna bättre modeller, utan om att noggrant utforma hela den kontext de arbetar i.
Hallucinationer i verkliga samtal
På hallucinationsfronten visar ramverket CEDI att dynamiska flertursdialoger avslöjar betydligt fler felaktiga påståenden än traditionella statiska tester. Och det som är extra bekymmersamt: felen ackumuleras ju längre konversationen pågår, eftersom modellerna förstärker sina egna tidigare svar. Modellerna är också särskilt sårbara när de ombeds avvisa felaktiga förutsättningar i frågor — en klassisk situation i verklig användning.
Med andra ord: de riktmärken vi hittills har litast på underskattar problemen systematiskt.
Ljuspunkterna är verkliga
Det vore fel att måla upp en ensidig dyster bild. Samma vecka presenteras också EvoCUA-1.5, ett system som tränas i realtid genom interaktion med verkliga sandlådemiljöer. Det uppnår 63,2 procent framgång på riktmärket OSWorld-Verified — en nivå som konkurrerar med betydligt större system. Och Double Ratchet-ramverket visar att självförbättrande agenter kan nå 88–110 procent av förbättringen man får med faktiska facitsvar, utan att facit finns tillgängligt.
Det pågår alltså genuint intressant arbete på lösningssidan. Men det är viktigt att hålla isär vad som är prototyp och vad som är produktionsklart. När forskare mätte AI-genererade GPU-kärnor mot verkliga produktionsspår i Atrex-Bench nådde inte ens det bästa systemet tio procent av hårdvarans teoretiska prestanda — och många till synes godkända lösningar visade sig luta sig mot färdiga standardfunktioner snarare än egenskriven kod.
Utvärderingen av utvärderingen
En metanivå som sällan diskuteras öppet: hur tillförlitliga är egentligen de metoder vi använder för att mäta allt detta? En ny studie granskar hur automatisk konfigurationsutveckling för agenter utvärderas och slår fast att samma referensdata ofta används både under sökning och slutlig utvärdering — vilket snedvrider resultaten. Förbättringarna generaliserar dessutom dåligt till nya, osedda uppgifter.
Det är en påminnelse om att framsteg på ett riktmärke inte automatiskt betyder framsteg i verkligheten.
Vår analys
Det som gör veckans forskarskörد så intressant är inte något enskilt negativt fynd — det är mönstret. Gång på gång ser vi samma grundstruktur: AI-agenter som presterar imponerande i kontrollerade, statiska miljöer men krackelerar när verkligheten rör sig. När verktyg byts ut. När konversationer drar ut på tiden. När kontexten är skissartad.
Det här är faktiskt nyttig information. Det pekar på var den verkliga ingenjörsutmaningen finns: inte primärt i råkapacitet, utan i robusthet, anpassningsförmåga och tillförlitlighet under förändrade förhållanden. Det är lösbart — men det kräver att vi slutar förvänta oss att skala löser allt och börjar bygga system som är utformade för att hantera en föränderlig omvärld.
Jag ser det som en mognadsmarkör att forskarsamhället nu ställer dessa hårdare frågor. Det är precis det som behövs för att ta AI-agenter från lovande prototyper till infrastruktur vi faktiskt kan lita på.