Transformatorarkitekturens nio år av dominans ifrågasätts – energikostnader driver krav på teknikskifte

Grundpelaren börjar spricka

Det är en av teknikhistoriens mest remarkabla dominansperioder. Sedan artikeln Attention Is All You Need publicerades 2017 har transformatorarkitekturen legat under i princip varenda stor språkmodell på markneten – från GPT till Gemini till Claude. Nio år av obruten överhöghet.

Men inom AI-världen räknas år annorlunda. Och allt fler röster höjs nu om att transformatorn, för all sin genialitet, börjar bära på sprickor som inte längre går att ignorera.

"Hela AI-industrin vilar på transformatorer", säger Justin Dangel, medgrundare och vd för uppstartsföretaget Subquadratic, till MIT Technology Review. "Det är en av de viktigaste innovationerna i datorvetenskapens historia." Men han tillägger det som allt fler vågar säga högt: tekniken börjar åldras.

Kostnaden för uppmärksamhet

Kärnan i problemet är en mekanism känd som tät uppmärksamhet (dense attention). Förenklat: modellen jämför varje ord med vartannat för att förstå sammanhang och innebörd. Det ger imponerande träffsäkerhet – men till ett astronomiskt pris. Ett dokument på 10 000 ord kan kräva upp till 50 miljoner beräkningsoperationer.

Siffrorna börjar nu bli svåra att bortse ifrån. OpenAI:s president Greg Brockman uppger att företaget räknar med att lägga 50 miljarder dollar på beräkningskapacitet under innevarande år. Internationella energiorganet IEA spår att datacentralernas totala elanvändning kommer att fördubblas fram till 2030. Det är inte längre bara en teknikfråga – det är en planetär resursfråga.

Många av de senaste framstegen inom stora språkmodeller – resoneringsmodeller, förmågan att hantera enorma textmängder – är dessutom inte organiska vidareutvecklingar av kärntekniken. De är, enligt kritikerna, tillfälliga lösningar som döljer grundläggande svagheter snarare än att lösa dem.

AlphaFold som varnande exempel

Parallellt med debatten om arkitektur lyfter MIT Technology Review en annan och lika viktig fråga: vad krävs egentligen av AI för att driva vetenskapliga genombrott?

AlphaFold brukar lyftas fram som det lysande beviset på AI:s kraft inom forskning. Men tidningen argumenterar övertygande för att det riskerar bli en vilseledande förebild. AlphaFolds framgång byggde på Protein Data Bank – en samling med omkring 170 000 experimentellt verifierade proteinstrukturer som tog 53 år av internationellt samarbete att bygga upp, till en uppskattad kostnad av 21 miljarder dollar.

Sådana förutsättningar är sällsynta till den grad att de nästan är unika. Inom stora delar av biologin och kemin är det vetenskapligt omöjligt att skapa jämförbara datamängder – resultaten varierar beroende på cellinjer, spårföroreningar i kemikalier, till och med luftfuktigheten i laboratoriet.

Slutsatsen som dras är skarp: den datadrivna modellen – mata in tillräckligt mycket information och vänta på insikter – är inte allmängiltig. Och det är just här som resonerande agenter träder in som ett alternativ.

Agenter som tänker, inte bara mönsterigenkänner

Forskare har alltid arbetat under osäkerhet. De kombinerar ofullständiga data, prövar hypoteser, reviderar slutsatser och navigerar i det okändas gränsland. Det är en fundamentalt annorlunda process än att träna en modell på en välstrukturerad databas.

Det är precis denna förmåga – att resonera, anpassa och agera under osäkerhet – som nu pekas ut som nyckeln till nästa generations AI-genombrott inom forskning. Inte fler data. Inte större modeller. Utan arkitekturer och metoder som efterliknar det mänskliga forskningsarbetet.

De två trådarna hänger ihop på ett sätt som är svårt att missa. Transformatorn, byggd för att hitta mönster i enorma datamängder, är ett mäktigt verktyg för en viss typ av problem. Men de problem vi nu ställer AI inför – resonemang, vetenskaplig utforskning, hantering av ofullständiga och brusiga data – kräver kanske något genuint annorlunda.

Uppstartsföretag som Subquadratic satsar nu på nya arkitekturer som lovar liknande prestanda till en bråkdel av beräkningskostnaden. Om de lyckas kan vi se ett teknikskifte som påminner om det transformatorn själv skapade 2017 – fast i omvänd riktning.