AI-agenterna klarar knappt en av sex ingenjörsuppgifter – men kan kosta 90 procent mindre att driva
AI-agenter misslyckas med åtta av tio ingenjörsuppgifter – men är billiga att driva.
17,5 procent – och det är toppresultatet
När forskare ville ta reda på hur bra AI-agenter egentligen är på avancerat ingenjörsarbete byggde de CADWorld, ett riktmärke med 200 uppgifter i CAD-programmet FreeCAD. Uppgifterna spänner över allt från skissning och delmodellering till sammansättningar och finita elementmetod-simuleringar. Agenterna fick styra programvaran precis som en mänsklig användare – via skärmdumpar och gränssnittsåtgärder.
Resultatet var nedslående: den starkaste av sju testade agenter klarade 17,5 procent av uppgifterna. Erfarna ingenjörer klarade 87 procent. Det är inte en liten skillnad – det är ett gapande hål. Svagare agenter fastnade redan innan de producerat ett enda giltigt konstruktionsunderlag, medan de starkare studsade på geometriska och strukturella krav.
Det är en viktig påminnelse: att navigera ett grafiskt gränssnitt är inte samma sak som att förstå ingenjörslogik.
Men kostnadsbilden ser helt annorlunda ut
Samtidigt som CADWorld avslöjar prestationsgapet, pekar annan forskning mot att agenter kan bli dramatiskt mycket effektivare att driva. Systemet EchoPath löser ett klassiskt problem: vanliga AI-agenter börjar om från noll varje gång de utför en uppgift, oavsett om de gjort exakt samma sak hundra gånger tidigare.
EchoPath omvandlar beprövade interaktionssekvenser till återanvändbara minnesenheter – tänk på det som anropsbara verktyg som agenten kan hämta från hyllan i stället för att uppfinna hjulet på nytt. En bildbaserad algoritm ser till att systemet hittar rätt element på skärmen även när layouten förändrats något. I verkliga tester sjönk den genomsnittliga symbolkostnaden med över 90 procent och körtiden med cirka 60 procent. Det är siffror som förändrar affärskalkylen för många verksamheter.
Industrirobotar och realtidsbeslut
Ett annat område där agenter börjar leverera konkret värde är industriell robotik. Ramverket CoAdapt använder en stor språkmodell som dirigent för robotsvärmar – den bestämmer i realtid vilka robotar som ska dela med sig av sina LiDAR-observationer och hur data ska slås samman. Resultatet är 38 procent lägre kommunikationskostnader med bibehållen detektionsprecision, jämfört med statiska referenssystem. I dynamiska fabriksmiljöer, där nätverksbandbredd och robotpositioner ständigt skiftar, är det en meningsfull förbättring.
Felen som smyger sig igenom
Men varje nytt användningsområde väcker också nya frågor om tillförlitlighet. Riktmärket ParaRecover testar hur agenter hanterar fel vid parallella verktygsanrop – ett scenario som blir allt vanligare när agenter kopplas samman i kedjor. Slutsatsen efter tester på fler än tio ledande språkmodeller: även toppmodeller har allvarliga svårigheter med felspridning och omplanering.
En annan forskargrupp har tagit sig an det besläktade problemet med tysta fel – åtgärder som utförs felaktigt utan att generera några felmeddelanden. Deras lösning är förhandskontroller som körs innan en åtgärd träder i kraft. För terminalkommandon fångades 95,8 procent av ogiltiga kommandon. Och en viktig teknisk iakttagelse: radnummerbaserade kodredigeringsformat visade sig vara extremt felbenägna – en enda rads förskjutning korrumperade nästan alla testfiler.
Säkerhet och minne – de svåra frågorna
Även säkerhetsbilden är oroväckande. Ramverket Blindspot utvärderar AI-agenter över hela interaktionsförlopp i stället för enskilda svar – och finner att säkerhetsbrister ofta inte dyker upp förrän efter flera inledningsvis harmlösa steg. Det innebär att säkerhet måste betraktas som en egenskap över tid, inte som ett enkelt godkänt eller underkänt vid ett enstaka tillfälle.
På minnessidan presenteras ThinkFlow, ett ramverk som komprimerar konversationer till vektorer i ett latent rum och kontinuerligt förfinar sin förståelse av användaren – helt utan mänsklig återkoppling. I tester presterade det betydligt bättre än befintliga minnessystem på uppgifter som kräver kontextmedvetenhet över flera samtalssessioner.
Och för de agenter som faktiskt ska lära sig hantera komplexa, flerstegiga resonemang erbjuder metoden tlm-DRE ett mer nyanserat träningsupplägg som väger olika konversationsomgångar olika tungt – något som visat sig ge mer robusta resultat än traditionella justeringsmetoder.
Hype möter verklighet
Det sammantagna mönstret är tydligt: AI-agenter är genuint användbara i ett växande antal sammanhang, men de är inte de autonoma superassistenter som marknadsföringen ibland antyder. Gapet mellan att klara 17,5 procent av CAD-uppgifter och att ersätta en erfaren ingenjör är inte ett gap som stängs med nästa modellversion. Det kräver djupare förståelse för domänlogik, bättre felhantering och säkerhetssystem som tänker i tidslinjer – inte ögonblick.
Vår analys
Det som slår mig när jag läser igenom den här forskningsvågen är hur mogen problemformuleringen håller på att bli. För ett år sedan handlade debatten om AI-agenter mest om möjligheter i princip. Nu börjar vi se noggranna riktmärken, taxonomier över feltyper och metoder för att mäta säkerhet över tid – det är ett tecken på att fältet mognar.
CADWorld-resultaten på 17,5 procent är inte ett misslyckande, de är en kalibrering. De talar om för oss exakt var vi befinner oss, och det är ovärderligt. Kombinerat med EchoPath-resultatens 90-procentiga kostnadsminskning ser vi konturerna av en realistisk väg framåt: agenter som inte gör allt, men som gör avgränsade uppgifter extremt effektivt och billigt.
Min bedömning är att de verksamheter som vinner på AI-agenter de närmaste två åren är de som identifierar smala, väldefinierade arbetsflöden – inte de som försöker automatisera bort ingenjören. Verktygen för att bygga rätt är på plats. Utmaningen är nu att ställa rätt frågor.