Nya riktmärken avslöjar AI-agenternas brister: under 43 procent rätt på juridiska frågor
Tre nya forskningsstudier ger en nedkylande bild av AI-agenternas verkliga förmåga: den starkaste modellen klarar knappt 43 procent av expertformulerade juridiska frågor, och ingen ledande modell hanterar driftstörningar utan allvarliga brister. Men forskarnas fynd pekar inte mot kollaps – de pekar mot en bransch som äntligen börjar mäta sig själv på allvar.
Gapet mellan löfte och verklighet är inte en dödsdom – det är en kalibrering
Låt oss vara ärliga: AI-agenter har marknadsförts som nästa stora språng mot autonom affärslogik. System som självständigt kan forska, felsöka, planera och agera. Men när forskarna nu sätter faktiska riktmärken mot dessa påståenden framträder en mer nyanserad bild.
Ett forskarteam har introducerat Legal Research Bench (LRB) – ett riktmärke med 413 expertformulerade juridiska frågor. Av tretton ledande AI-modeller presterade den starkaste, Claude Opus 4.8, korrekt på blott 42,9 procent av frågorna. Ännu mer talande: fler beräkningssteg och verktygsanrop förbättrade inte träffsäkerheten. Mer resurser gav alltså inte bättre svar. Det är ett fundamentalt antagande som ifrågasätts.
På driftsidan är bilden lika nedslående. Riktmärket Incident-Arena, baserat på verkliga produktionsmiljöer i Kubernetes-kluster, visar att ingen av de ledande modellerna klarar mer än 64,3 procent av uppgifterna – och varje testkörning kräver i snitt 2,81 miljoner bearbetade textenheter och 41 interaktioner. Det är inte lätt att bygga ett affärscase på den resursåtgången.
Och det stannar inte där. En studie av mindre språkmodeller i agentsystem – Qwen3-familjen med 0,6 till 8 miljarder parametrar – visar att inte en enda av 16 testkonfigurationer klarade godkänd nivå på enklare deluppgifter som att välja verktyg eller godkänna terminalkommandon. Kompetensklyftan beror primärt på modellstorlek, inte på tekniska optimeringsjusteringar.
Utvärderingsproblemet är nästan lika stort som prestandaproblemet
En detalj som riskerar att drunkna i nyhetsflödet är resultaten från en statistisk genomgång av 22 AI-riktmärken. Slutsatsen är obekväm: när man rankar färdiga system är tillförlitligheten hög – men när man försöker bedöma de underliggande modellerna faller den dramatiskt, ned till 0,148 i värsta fall. Valet av teknisk omgivning kring modellen påverkar resultaten mer än många trott.
Med andra ord: vi vet inte riktigt hur bra AI-agenterna faktiskt är, för vi mäter dem fel. Det är inte ett skäl till pessimism – det är ett skäl till att börja mäta rätt.
Lösningarna är på väg – och de är konkreta
Här är det jag verkligen vill att du tar med dig: forskarsamhället sitter inte passivt och dokumenterar misslyckanden. Det bygger lösningar.
ServiceNow CoreAI presenterar ramverket AutoSynthData, som automatiserar processen att identifiera var en AI-modell brister i en specifik företagsmiljö och genererar skräddarsydda träningsuppgifter som systematiskt adresserar just dessa svagheter. Det är en principiellt viktig förändring – från generell kapacitet till miljöspecifik tillförlitlighet.
Forskare bakom metoden Rules to Tools (R2T) visar att körbara programmatiska kontroller – snarare än skriftliga beskrivningar – ger AI-agenter klart bättre resultat vid vetenskaplig kodning, och minskar mängden genererad utdata med över 31 procent. Minnessystemet Core–Tail World Model (CTWM) minskar tokenförbrukning med upp till 24,5 procent utan att försämra träffsäkerheten.
Systemet GAVA löser en annan klassisk utmaning: vad gör en agent när den får en felaktig instruktion från en människa? Svaret är inte blind lydnad och inte heller fullständig självständighet – utan ett strukturerat skiljedomsförfarande där agenten kan acceptera, avvisa, undersöka eller ställa följdfrågor. Träffsäkerheten på att bedöma instruktioners riktighet landade över 98 procent i tester.
Styrningsmässigt presenteras Praxa, ett ramverk som skiljer tydligt mellan när en agent föreslår och när den faktiskt genomför en åtgärd – med deterministisk behörighetsprövning och extern verifiering av verkliga effekter.
Tempot är inte för högt – men det måste vara mer ärligt
Frågan om AI-utbyggnadens tempo är legitim. Men jag menar att problemet inte är hastigheten – det är förväntningsgapet. Företag som köper in sig på löftet om fullt autonoma agenter riskerar besvikelse. Företag som förstår var agenterna faktiskt befinner sig på mognadskurvan och bygger rätt styrningsstrukturer kring dem – de kommer att vinna.
Den verkliga nyheten den här veckan är inte att AI-agenter misslyckas. Det är att forskarvärlden nu systematiskt kartlägger varför de misslyckas, och börjar leverera konkreta motmedel. Det är precis hur mogen teknikutveckling ser ut.
Vår analys
Det som imponerar mig mest med veckans forskningsvåg är inte enskilda siffror – det är mönstret. Vi ser en tydlig övergång från euforisk kapacitetsdemonstrering till seriös tillförlitlighetsforskning. Det är ett hälsotecken för branschen.
För beslutsfattare i företag finns en omedelbar praktisk slutsats: distribuera AI-agenter i avgränsade, väldefinierade miljöer med tydliga verifieringsmekanismer – inte som generella autonoma system. ServiceNows AutoSynthData-ansats, att träna modeller på era svagheter i er miljö, pekar ut rätt riktning.
På sikt tror jag att den infrastruktur som byggs just nu – styrningsramverk som Praxa, minnessystem som CTWM, selektiva lydnadsmekanismer som GAVA – kommer att visa sig viktigare än råa prestandahopp. Tillförlitlighet är det som omvandlar AI från imponerande demo till verkligt affärsvärde. Vi är inte framme än, men vi rör oss åt rätt håll.