Nya studier visar begränsningar hos AI-agenter – automation av arbetsflöden presterar under 10 procent

Verkligheten biter tag i AI-hypen

När vi reser runt och träffar företagsledare är entusiasmen för AI-agenter påtaglig. Alla vill automatisera sina arbetsflöden och frigöra tid för strategiskt arbete. Men ny forskning från flera oberoende studier visar att vi kanske behöver dämpa förväntningarna – åtminstone tillfälligt.

Tre genomgripande studier från arXiv avslöjar systematiska brister hos dagens AI-agenter när de konfronteras med verkliga arbetsuppgifter. Resultaten är tydliga: tekniken är helt enkelt inte mogen för den automation som marknaden kräver.

Katastrofala resultat på vardagsuppgifter

Forskarna bakom AutomationBench utvecklade ett riktmärke baserat på verkliga arbetsmönster från Zapiers plattform. De testade AI-agenternas förmåga att hantera komplexa arbetsflöden inom försäljning, marknadsföring, drift och support – precis de områden där företag investerar tung automation.

Resultatet var nedslående: även de mest avancerade AI-modellerna presterade under 10 procent. Problemet ligger i kombinationen av tre kritiska färdigheter som krävs samtidigt – samordning mellan applikationer, självständig upptäckt av programgränssnitt och regelefterlevnad.

En typisk uppgift kan kräva att agenten arbetar med kundhanteringssystem, e-post, kalender och meddelandeplattformar samtidigt. Det är här komplexiteten exploderar och dagens AI-system fallerar.

Vetenskapligt resonemang saknas

En parallell studie med över 25 000 testkörningar inom åtta olika områden avslöjar ännu djupare problem. AI-systemen ignorerade bevis i 68 procent av fallen och endast 26 procent genomförde den självkorrigering som kännetecknar vetenskaplig metod.

Detta är särskilt problematiskt eftersom många företag förväntar sig att AI-agenter ska kunna dra slutsatser från data och anpassa sitt beteende baserat på resultat. Utan denna grundläggande förmåga blir agenterna glorifierade regelföljare snarare än intelligenta medarbetare.

Säkerhetsmisslyckanden i praktiken

Tredje pusselbiten kommer från SafetyALFRED-studien som testade elva avancerade modeller i verkliga miljöer. Forskarna upptäckte en betydande klyfta: medan AI-agenter kan identifiera faror korrekt i teoretiska sammanhang, misslyckas de katastrofalt med att vidta korrigerande åtgärder när det väl gäller.

Detta har enorma konsekvenser för företag som överväger att implementera AI-agenter i kritiska processer. En agent som kan identifiera ett problem men inte agera för att lösa det skapar falsk trygghet.

Vad detta betyder för företag

Dessa fynd förändrar inte min grundläggande optimism kring AI-transformation, men de påminner oss om att vi befinner oss i teknikens barndom. Företag som investerat tungt i AI-automation behöver justera sina förväntningar och tidsramar.

Det positiva är att problemen är tydligt definierade. Vi vet nu exakt var tekniken brister, vilket ger utvecklare konkreta mål att arbeta mot. Forskarna har också gjort sina verktyg tillgängliga som öppen källkod, vilket accelererar förbättringsarbetet.

Min rekommendation: Fortsätt experimentera med AI-agenter, men håll mänsklig övervakning på plats. Använd nuvarande teknik för begränsade, väldefinierade uppgifter snarare än komplexa arbetsflöden. Bygg erfarenhet nu så att ni är redo när tekniken mognar.