AI-agenter i kedja förädlar felen – en fjärdedel når målet helt oupptäckta

Felet som växer sig osynligt

Föreställ dig ett finansanalyssystem där fyra AI-agenter arbetar i kedja: en hämtar data, en räknar, en skriver och en granskar. Intuitivt känns det tryggt — fler steg borde ge fler tillfällen att rätta till misstag. Men en ny studie från arXiv visar att verkligheten är tvärtom.

När felaktig information injiceras tidigt i en sådan kedja omvandlas den snarare än att flaggas. Råa siffror blir beräkningar, beräkningar blir berättande text och berättande text blir redaktionellt godkända slutsatser. Och för varje steg minskar möjligheten att känna igen det ursprungliga felet — för det ser inte längre ut som ett fel. Det ser ut som ett faktapåstående.

I det testade finansanalyssystemet föll GPT-4o:s förmåga att identifiera hallucinationer från 72 procent i steg ett till knappt 51 procent i sista steget. Nästan en fjärdedel av alla felaktigheter nådde slutresultatet helt oupptäckta. Det är inte en liten brist i ett i övrigt robust system — det är ett strukturellt problem i hur vi bygger fleragens-arkitekturer.

Kontrollera tidigt, eller kontrollera i onödan

En av studiens mest praktiskt användbara insikter handlar om när man granskar. Verifiering vid varje steg i kedjan minskade felfrekvensen från 58 till 16 procent. Kontroll enbart i slutet gav knappt någon förbättring alls. Det är en viktig lärdom för alla som bygger agentsystem: en slutgranskare är inte en tillräcklig säkerhetsmekanism om felen redan hunnit baka in sig i mellanlagren.

Det här är inte ett isolerat problem. En separat studie om AI-genererad GPU-kod visade liknande mönster av dolda fel. Forskarna utvecklade ett rigoröst verifieringsverktyg med tolv strikta krav och granskar 2 638 kärnor som ett befintligt system redan godkänt som korrekta. Resultatet: 62,1 procent innehöll minst en överträdelse, och 39,5 procent var felaktiga bortom varje rimlig feltolerans. Standardtesterna hade godkänt 1 487 kärnor som det nya verktyget underkände.

Sammanfattningsvis: vi underskattar systematiskt hur felbenägna AI-genererade resultat är, och våra nuvarande testmetoder är inte tillräckligt skarpa för att fånga det.

Modellen vet inte vad den inte vet

En tredje studie tillför ytterligare ett lager av komplexitet. Forskarteamet testade GPT-4.1-nano på 135 diagnostiska scenarier inom medicinsk differentialdiagnostik — specifikt att skilja Alzheimers sjukdom från depressionsorsakad kognitiv nedsättning. Modellen uppnådde imponerande 93,5 procents träffsäkerhet och visade att dess uttryckta självförtroende steg när bevisen var tydliga och sjönk vid informationsbrist.

Men i komplexa fall med motstridiga uppgifter uppstod ett klassiskt problem: modellen lutade åt fel diagnos men behöll ändå ett alltför högt självförtroende. Det är precis den situation där en felkalibrerad modell är som farligast — inte när den är osäker och säger det, utan när den är fel och låter säker.

Forskarna slår fast att tillförlitlighet i medicinsk AI inte kan mätas enbart genom träffsäkerhet. Kalibrering — alltså hur väl modellens självförtroende stämmer överens med dess faktiska korrekthet — måste utvärderas direkt.

Verktyg för insyn är en del av lösningen

Mitt i dessa oroande fynd finns det ljuspunkter. Ett forskarlag har presenterat DMDIntel, ett verktyg som använder dynamisk moddekomposition för att analysera en modells interna tillstånd och rangordna vilka ord som faktiskt styrde ett visst svar. I jämförande tester mot etablerade metoder som principalkomponentanalys och SHAP visade verktyget genomgående bättre resultat.

Det är ett steg i rätt riktning. Om vi kan se varför en modell drog en viss slutsats, blir det lättare att bygga verifieringssteg som faktiskt fångar felen — och inte bara rubber-stampar dem vidare i kedjan.

AI-system med flera agenter är inte fel i sig. Men den här forskningen är ett tydligt tecken på att vi behöver mogna i hur vi designar, testar och granskar dem.