Klarar jobbet i fyra fall av tio – ny studie ifrågasätter AI-agenternas tillförlitlighet

När AI-agenten ger upp innan jobbet är klart

Föreställ dig att du anlitar en konsult för att granska och verifiera ett viktigt forskningsunderlag. Konsulten tar sig an uppgiften, förbrukar knappt en tredjedel av sin fakturerbara tid – och lämnar sedan in ett resultat utan att ens ha kontrollerat om svaret stämmer med det ursprungliga underlaget. Det är ungefär den bild som framträder ur ett nytt, banbrytande riktmärke vid namn RECLAIM.

Ett forskarlag har publicerat RECLAIM på arXiv – ett riktmärke bestående av 100 artiklar från NeurIPS 2025, en av världens mest ansedda konferenser inom maskininlärning. Syftet är att systematiskt mäta hur väl AI-agenter klarar av att reproducera vetenskapliga resultat. Det låter som en smal akademisk fråga. Men konsekvenserna är betydligt bredare än så.

Siffrorna som kräver uppmärksamhet

RECLAIM delar in uppgifterna i tre svårighetsnivåer beroende på hur mycket material som finns tillgängligt:

• Nivå ett: Både kod och data är offentliggjorda – det enklaste scenariot.
• Nivå två: Enbart kod tillgänglig, utan färdigtränade modeller.
• Nivå tre: Enbart den publicerade artikeln – agenten måste skriva koden från grunden.

Resultaten är uppseendeväckande. Den bästa agenten lyckades reproducera:
- 41 procent av fallen på den enklaste nivån
- 27 procent när modellen behövde tränas om
- Bara 15 procent i det svåraste scenariot

Med andra ord: även under de gynnsammaste förutsättningarna misslyckas AI-agenten i mer än hälften av fallen. Det är inte en marginalföreteelse – det är ett strukturellt problem.

En detalj som verkligen fastnar är detta: misslyckade försök använde i genomsnitt bara 29 procent av sin tilldelade beräkningsbudget. Agenterna gav upp i förtid. Och det vanligaste felet var inte att de räknade fel – det var att de aldrig kontrollerade sina svar mot artikelns faktiska siffror. De implementerade metoden, körde koden och nöjde sig med att något kördes klart. Verifiering uteblev.

Vad detta egentligen handlar om

Jag vill vara tydlig: det här är inte ett argument mot AI-agenter som teknologi. Det är ett argument för ärlig kalibrering av förväntningar.

Under de senaste åren har vi sett en explosionsartad entusiasm kring autonoma AI-agenter – system som ska kunna utföra komplexa uppgifter utan mänsklig handpåläggning. Inom allt från juridik till läkemedelsanalys till finansiell riskbedömning byggs det nu system där AI-agenter förväntas leverera tillförlitliga, reproducerbara resultat. RECLAIM påminner oss om att vi inte är där än.

Det handlar inte om att AI är oanvändbart – det handlar om att vi riskerar att bygga tillit på ett ofullständigt underlag. När en AI-agent inte ens verifierar sina egna slutsatser, och dessutom avbryter arbetet i förtid, uppstår en farlig situation: systemet ser ut att ha fungerat, men ingen har faktiskt kontrollerat om resultatet håller.

Detta är ett välkänt fenomen inom mjukvaruutveckling – att koden kompilerar är inte samma sak som att koden är korrekt. Men med AI-agenter är illusionen av kompetens ännu mer förledande, eftersom systemet kommunicerar med naturligt språk och låter övertygande.

Möjligheten som gömmer sig i problemet

Här är vändningen som jag ändå vill lyfta fram: RECLAIM är ett verktyg för förbättring, inte bara ett bevis på begränsningar.

Genom att definiera konkreta, mätbara prestandanivåer ger riktmärket utvecklare och forskare ett riktigt mål att skjuta mot. Historien om AI-framsteg är fylld av riktmärken som till en början verkade omöjliga – och som sedan slogs. Att den bästa agenten idag klarar 41 procent av det enklaste scenariot är inte slutpunkten. Det är startpunkten.

För företag och organisationer som utvärderar AI-agenter för affärskritiska processer är budskapet tydligt: kräv verifierbarhet, bygg in kontrollsteg, och mät faktisk prestanda – inte bara upplevd funktionalitet. Den AI-agent som levererar ett svar snabbt är inte per automatik den som levererar rätt svar.