Ny forskning raserar branschens grundantagande: det är inte AI-modellen som avgör – det är skalet runt den

Det är inte motorn som vinner loppet

Om du jobbar med AI-system finns det ett antagande du förmodligen tagit för givet: välj rätt grundmodell, och du är halvvägs i mål. Bättre modell ger bättre resultat. Det är logiskt, det är intuitivt – och enligt ny forskning från Nvidia är det fel.

Det Nvidias forskare har gjort är enkelt att förstå men svårt att överskatta: de tog en befintlig modell, byggde ett egenutformat programvaruskal runt den, och fick resultaten att skjuta i höjden. Modellen i fråga var Anthropics Claude Opus 5. Utan skalet klarade den 30 procent på riktmärket ARC-AGI-3 – ett synnerligen krävande test där modellen utan förhandsinstruktioner måste lista ut reglerna för ett tvådimensionellt spel och sedan vinna det. Med Nvidias ramverk? Hundra procent. Ett perfekt resultat.

Det är en dramatisk skillnad, och den skapar en intressant förskjutning i hur vi bör tänka kring AI-system i praktiken.

Vad är det då skalet gör?

Det centrala tillskottet i Nvidias ramverk är en övervakningskomponent – en slags inbyggd handledare som följer agentens arbete i realtid. När agenten fastnar, börjar gå i cirklar eller envisas med att utforska en återvändsgränd, griper övervakaren in och korrigerar kursen.

Adel El Hallack, vice vd för produkter inom Nvidias AI-enhet, beskriver det träffande enligt TechCrunch:

– Den agerar nästan som en verkställande direktör som korrigerar agenten när den spårar ur eller utforskar en väg som riskerar att leda ingenstans.

Som systemutvecklare tycker jag det är en elegant lösning på ett välkänt problem. Alla som byggt agentbaserade system vet att en av de vanligaste felkällorna inte är att modellen saknar kunskap – det är att den saknar förmågan att känna igen när den kört fast. Den itererar vidare på en dålig ansats i stället för att backa och pröva ett nytt angreppssätt. Det är ett strukturellt beteendeproblem, och det löses bäst strukturellt – inte genom att byta ut modellen.

En spark i magen för OpenAI

Resultaten är extra talande mot bakgrund av hur OpenAIs modeller presterat på samma riktmärke. Enligt TechCrunch skrapade OpenAIs modeller ihop under tio procent på ARC-AGI-3 – en anmärkningsvärt låg siffra från ett bolag som positionerar sig i absoluta framkanten.

Det är naturligtvis inte en rättvis jämförelse rakt av – Nvidia testade med ett specialanpassat ramverk, inte bara råa modeller. Men det är precis det som är poängen. Ramverket är en del av lösningen. Och om konkurrenten inte har ett lika väldesignat programvaruskal spelar det mindre roll hur kapabel den underliggande modellen är.

Detta borde ge eftertanke åt alla som rusar mot nästa modellversion som om det vore den enda vägen framåt.

Vad betyder detta för dem som bygger system?

Praktiskt handlar det här om en viktig insikt för alla som arbetar med AI i verkliga tillämpningar: resurser och omsorg behöver läggas på hela stacken – inte bara på valet av grundmodell. Minneshantering, verktygsstöd, styrregler och övervakningsmekanismer är inte detaljer man lägger till efteråt. De är avgörande för om systemet faktiskt fungerar.

Detta är inte en helt ny tanke – ramverk som LangGraph, AutoGen och liknande har länge argumenterat för att agentdesign är en disciplin i sig. Men Nvidias resultat ger det argumentet en synnerligen kraftfull empirisk grund. Ett perfekt resultat på ett av de svåraste riktmärkena som finns, uppnått inte genom en bättre modell utan genom ett bättre skal.

Det påminner om en klassisk lärdom från mjukvaruutveckling i stort: arkitektur slår implementationsdetaljer. Det visar sig gälla även när implementationsdetaljen råkar vara en stor språkmodell.