Över tusen anrop per uppgift – så utmanar AI-agenterna dagens serverarkitektur
Tusentals anrop per uppgift – AI-agenter slår dagens servrar i spillror.
Processorerna är i otakt – och det är ett strukturellt problem
Det finns en bild av AI-driftsättning som fortfarande dominerar i många styrelserum: en kraftfull server med massor av grafikkort som tuggar igenom förfrågningar i strid ström. Den bilden stämmer ganska bra för vanliga språkmodellstjänster. Men AI-agenter fungerar fundamentalt annorlunda – och det är precis där infrastrukturen börjar gnissla.
Enligt Computer Sweden visar forskare från Microsoft Azure och University of Texas at Austin att dagens grafikkorts-tunga servrar är dåligt anpassade för hur AI-agenter faktiskt arbetar. I en kontrollerad studie expanderade en enstaka arbetsbelastning till hela 580 anrop till språkmodellen, blandat med 552 verktygsstarter. Exekveringen studsade hundratals gånger fram och tillbaka mellan processor och grafikprocessor – ett mönster forskarna beskriver som fragmenterat och heterogent.
Resultatet är ojämn belastning i båda riktningarna: grafikkorten kan stå stilla och vänta, för att sedan plötsligt bli överväldigade. Värd-processorn, som samordnar flödet, hamnar på den kritiska vägen och blir en strukturell flaskhals. Sanchit Vir Gogia, chefsanalytiker på Greyhound Research, sammanfattar det träffsäkert: det handlar inte om en större chattbot, utan om ett distribuerat program med helt andra krav på underliggande hårdvara.
Mjukvaran ovanpå är lika komplex
Problemet stannar inte vid hårdvaran. Parallellt med infrastrukturfrågorna publiceras just nu en rad forskningsresultat som tillsammans målar upp hur tekniskt krävande agenters mjukvarumiljö faktiskt är.
Ett forskarlag presenterar Nexus – en metod som gör att AI-agenter kan välja rätt verktyg via semantisk sökning och komprimerade beskrivningar på i snitt 19 symboler, istället för att läsa in fullständiga verktygsdefinitioner vid varje interaktion. Resultatet är upp till 1,66 gånger snabbare svarstid och ungefär 80 procents besparing i kontextutrymme, med bibehållen träffsäkerhet på nära 89 procent vid 250 tillgängliga verktyg. En annan studie om verktygsrepresentation visar dessutom att mer information inte alltid är bättre – en delvis exponering av förmågor kan faktiskt prestera sämre än att visa antingen allt eller ingenting, på grund av vad forskarna kallar lexikal konkurrens.
Sedan finns minnet. En studie identifierar vad forskarna kallar strukturellt indirekt förutsättningsradering – ett fenomen där minneselement som verkar perifera kastas bort under resurstrycket, trots att de är nödvändiga för att förstå svaret. Med metoden DSGC, som tar hänsyn till relationer mellan minneselement, förbättrades bevarandet av fullständiga informationskedjor från tre till nittio procent. Det är en dramatisk skillnad som illustrerar hur instabila agentbaserade system kan vara utan rätt konstruktion.
Systemet PrimeAgentOrchestrator adresserar ett närliggande problem: att AI-agenter traditionellt startar varje session utan minne av tidigare arbete. Genom att parallellt hämta data från en PostgreSQL-databas och ett semantiskt sökindex vid uppstart får agenten relevant kontext direkt – en lösning som vuxit fram genom fyra månaders produktionsanvändning och tre generationer av tekniska förbättringar.
Vem bygger om, och vad kostar det?
En ny studie med det så kallade Agentic Adoption Index analyserade runt 53 000 uppgiftsspecifikationer och fann ett oväntat mönster: de yrken där AI-delegering redan är vanligast är inte de som traditionellt pekats ut som mest automatiseringsutsatta. Adoptionen är högst bland grupper med mellanhöga löner och kandidatexamen – inte bland de mest välutbildade. Det antyder att verkliga driftsättningar sker i en annan takt och i andra sammanhang än teorin förutsett.
För svenska företag är signalen tydlig: det räcker inte att utvärdera vilka AI-verktyg man vill använda. Man behöver också fråga sig om infrastrukturen klarar av att köra dem i skala. Agenter är inte chattbottar med extra steg – de är distribuerade system som ställer nya krav på allt från hårdvarubalans och minneshantering till hur man skriver kravspecifikationer. En slutsats från ramverket SDAD (Spec-Driven Agentic Development) är att ökad automationshastighet inte minskar behovet av ingenjörsdisciplin – den förflyttar den uppströms, till specifikationsfasen.
Det är en påminnelse om att AI-omställningens svåraste del kanske inte är att välja rätt modell, utan att bygga rätt fundament.
Vår analys
Det som gör den här forskningsvågen intressant är att den inte handlar om framtida kapacitet – den handlar om vad som händer nu, när agenter faktiskt sätts i produktion. Mönstret är tydligt: varje lager i stacken, från hårdvarubalansen mellan processor och grafikprocessor till hur minnet hanteras och hur verktyg representeras, visar sig vara mer komplext än förväntat.
För svenska verksamheter som planerar AI-satsningar är det här en konkret budgetsignal. Investeringar i agentbaserade system behöver inkludera infrastrukturgenomgångar, inte bara licenskostnader. Den goda nyheten är att forskarsamhället arbetar aktivt med precis de här problemen – Nexus, DSGC och PAO är alla konkreta svar på identifierade svagheter.
Jag tror vi ser början på en ny disciplin: agentinfrastruktur som eget kompetensområde, skilt från både klassisk molndrift och traditionell maskininlärningsops. De företag som förstår det tidigt kommer att ha ett betydande försprång.