AI-agenterna imponerar på prov — men vad händer när verkligheten tar vid?

Gapet mellan labb och verklighet är större än vi trodde

Låt oss vara ärliga. De senaste två åren har vi sett en våg av löften om AI-agenter som ska ta över repetitivt arbete, handleda studenter och fatta beslut i realtid. Investeringarna är astronomiska, entusiasmen likaså. Men ny forskning river upp en obehaglig fråga: vad händer när agenterna faktiskt sätts i arbete?

Svaret, visar det sig, beror helt på vad vi menar med "arbete".

Forskare bakom det nya riktmärket SaaS-Bench — som testar AI-agenter i verkliga molntjänstmiljöer — presenterar siffror som borde sätta stopp för all snabb upphandling. Ramverket täcker 23 olika programvarusystem inom sex yrkesområden och innehåller 106 uppgifter som speglar autentiska arbetsflöden. Resultatet? Inte ens den starkaste modellen klarade mer än fyra procent av uppgifterna från början till slut. Svagheterna samlades kring planering, tillståndsövervakning och felåterställning — precis de förmågor som avgör om en agent är en tillgång eller en belastning i en professionell miljö.

Pedagogiken avslöjar en ännu djupare brist

Om det vore ett isolerat problem i affärssystem hade man kunnat leva med det. Men en parallell studie, som granskade sju AI-handledare baserade på stora språkmodeller och analyserade över 10 000 studentlösningar inom propositionslogik, pekar på samma grundmönster — fast i ett helt annat sammanhang.

AI-handledarna klarade sig utmärkt när svaren var korrekta. Det är föga imponerande — det kan en sökmotor. Det svåra är de gråa zonerna: giltiga men icke-optimala lösningar, och felaktiga svar som nästan var rätt. Där visade systemen systematiska fel oavsett vilken modell som användes, vilket tyder på arkitektoniska begränsningar snarare än kunskapsluckor. Ännu mer oroande: korrekt diagnos ledde inte automatiskt till pedagogiskt användbar återkoppling. Forskarna föreslår därför hybridlösningar där kunskapsgrafsbaserade system hanterar bedömningen, medan språkmodellerna fokuserar på dialog och stöttning.

Designvalen avgör — och vi designar ofta fel

En tredje studie, som utvärderade tolv olika agentkonfigurationer i ett cybersäkerhetsscenario, tillför en viktig pusselbit: problemet är inte bara vad vi bygger, utan hur vi bygger det.

Den tydligaste lärdomen är att ge agenten en strukturerad och abstrakt bild av sin omgivning — det förbättrade prestandan med upp till 76 procent jämfört med råa observationer. Men det mest kontraintuitiva fyndet är att djupare resonemang, där agenter ifrågasätter sina egna beslut, faktiskt slog tillbaka hårt när det kombinerades med hierarkisk uppgiftsfördelning. Forskarna kallar det en "deliberationskaskad" — ett mönster som gav upp till 3,4 gånger sämre resultat och dessutom slukar beräkningsresurser i onödan. Mer eftertanke är alltså inte alltid bättre eftertanke.

Världsmodeller kan utnyttjas — och skydden saknas

Därtill lägger en teoretisk studie ett säkerhetsperspektiv som få ännu tagit på tillräckligt stort allvar. Forskarna introducerar begreppet modellexploatering — situationen då en AI:s interna världsmodell förespråkar en strategi som är direkt kontraproduktiv i verkligheten. Det liknar det välkända problemet med belöningsfusk, men med en viktig skillnad: de skyddsmekanismer som fungerar mot belöningsfusk saknar direkta motsvarigheter för modellexploatering. Och exploatering är, enligt forskarnas slutsatser, i det närmaste oundviklig när systemet väljer bland ett stort antal möjliga strategier.

Ljuset i tunneln är verkligt — men vägen dit kräver precision

Det vore fel att sluta här. Samma vecka publiceras forskning som visar att AI-agenter nu självständigt kan designa nästa generations språkmodeller och slå mänskliga basmodeller med upp till 3,8 procentenheter i noggrannhet. Och inom sjukvården lanseras Fully Open Meditron — den första helt öppna AI-modellen för kliniskt beslutsstöd, med full insyn i träningsdata och metodik, och en prestandaförbättring på 6,6 procentenheter jämfört med grundmodellen.

Samtidigt visar en studie av adaptiva konversationssystem att AI:ns förmåga att i realtid bedöma användares engagemang och förtroende är djupt opålitlig — bara 31 av 213 undersökta mätvärden höll måttet för tillräcklig stabilitet.

Bilden som träder fram är inte dystopisk. Den är nyanserad. AI-agenter är inte mogna att agera autonoma digitala medarbetare i öppna, komplexa miljöer — ännu. Men de är kraftfulla verktyg i väldefinierade sammanhang med tydlig uppgiftsstruktur, mänsklig tillsyn och genomtänkt systemdesign.