AI-agenter erövrar industrin – men vi vet fortfarande inte hur vi mäter dem

Från labb till verklighet – på bred front

Det händer något just nu. Inte på ett enda ställe, utan på många håll samtidigt. AI-agenter – system som inte bara svarar på frågor utan faktiskt utför uppgifter i flera steg – börjar dyka upp i riktiga produktionsmiljöer och leverera mätbara resultat.

Ta Baidu Maps som ett tydligt exempel. Att kartlägga körfält för autonoma fordon i hundratals städer är ett gigantiskt pusselarbete som traditionellt kräver manuell granskning. Deras system MapAgent löser detta med en tredelad agentarkitektur: en komponent som identifierar fel, en som planerar korrigeringar och en som faktiskt genomför dem. Resultatet? Körfältskartläggning i över 360 kinesiska städer, med en automatiseringsgrad på över 95 procent. Det är inte ett pilotprojekt – det är skarp drift.

Industrins tillverkningssektor rapporterar liknande framsteg. Systemet DMAIC-IAD, beskrivet i ny forskning från arXiv, tar ett intressant grepp på feldetektering: det planerar innan det agerar, i stället för att direkt köra analyser. Inspirerat av kvalitetsledningsramverket DMAIC omvandlar det heterogena referensdata till standardiserade arbetsprocedurer och rangordnar strategier med en förtränad bedömningsmodell – utan dyra provkörningar. I tester över fyra olika datatyper förbättrades feldetekteringen med hela 37,76 procent jämfört med befintliga system. Det är en siffra som väcker uppmärksamhet på vilken ingenjörsgolv som helst.

Juridiken är tuffare – men inte omöjlig

Mer komplexa domäner bjuder på hårdare motstånd. Juridik är ett sådant område: ärenden är sällan linjära, kräver djup kontextförståelse och kan ha stora konsekvenser om något går fel. Forskarna bakom Parthenon har tagit sig an utmaningen med ett ramverk som delar upp systemet i granskningsbara delar – modell, verktyg, agentroller, juridisk kunskap och procedurella färdigheter.

Deras storskaliga studie med över 12 500 agentförlopp är talande: även de mest avancerade modellerna har svårt att slutföra ett juridiskt ärende i ett enda genomlopp. Men Parthenon har en elegant lösning – en inbyggd inlärningsmekanism som omvandlar misslyckanden till förbättringar av systemets kunskapsbas, utan att den underliggande modellen behöver tränas om. Ungefär som en advokatbyrå som uppdaterar sina rutiner efter varje avslutat ärende. Det är ett klokt sätt att bygga robusthet utan att förlita sig på oändliga träningskörningar.

Infrastrukturen för agenter är fortfarande bräcklig

Här är det dags att bromsa lite. Bakom de imponerande resultaten finns en bekymmersam verklighet som ny forskning lyfter fram: vi vet faktiskt inte hur bra AI-agenter egentligen är – för vi mäter dem fel.

En granskningsartikel på arXiv visar att utvärderingsresultat för agenter är mycket känsliga för tekniska detaljer som slumpmässiga startvärden, systeminstruktioner och hur konversationshistorik hanteras. Detaljer som ofta är odokumenterade. Det betyder att de rankningslistor vi litar på kan vara direkt missvisande, särskilt i scenarier med flera samtalsturer. Dessutom är träning med förstärkningsinlärning kostsam och ineffektiv – många träningssteg ger inget användbart inlärningssignal alls.

En annan studie på arXiv erbjuder en pragmatisk motvikt: i stället för dynamiska, självplanerande arbetsflöden är handkonstruerade, fasta arbetsflöden generellt sett billigare och mer träffsäkra. Ramverket introducerar begreppet pseudo-verktyg – moduler som anropar språkmodeller rekursivt inom ett begränsat sammanhang – och tillämpar flermålsoptimering för att balansera kostnad mot svarskvalitet. Det låter kanske tråkigt, men för den som ska driftsätta ett system i verkligheten är förutsägbarhet guld värt.

Samarbete och säkerhet under press

En sista pusselbit: hur fungerar agenter när de måste samarbeta med varandra? Det testar det nya riktmärket SMAC-Talk, byggt på den välkända StarCraft Multi-Agent Challenge-miljön. Agenterna måste fatta beslut med begränsad information, planera långsiktigt och kommunicera på naturligt språk – och en av dem kan vara en vilseledare som försöker störa sina allierade enbart genom kommunikation. Det är ett kreativt sätt att stresstesta robusthet och förtroende i agentnätverk, och ett öppet verktyg som forskarsamhället nu kan använda fritt.