Forskare: Matematiken bakom AI-skalning pekar mot energianvändning som inte är försvarbar i längden

När kurvan pekar åt fel håll

Det finns en nästan religiös tro inom AI-industrin på att skalning löser allt. Träna modellen på mer data, ge den mer beräkningskraft, och prestandan förbättras. Det har stämt – fram tills nu har de så kallade skalningslagarna verkat hålla. Men en ny studie publicerad på arXiv sätter ett stort frågetecken bakom den övertygelsen, och gör det med matematikens hjälp.

Forskarna analyserar skalningsexponenterna – de matematiska mått som beskriver hur snabbt en modells prestanda förbättras i takt med ökad beräkningskraft och mer träningsdata. Slutsatsen är dyster: exponenterna pekar mot ett energiläge som inte är försvarbart i längden. Det är inte en kvalitativ magkänsla, det är ett kvantitativt påstående.

Det intressanta är att forskarna också undersöker om problemet kanske är ett mätfel snarare än ett verkligt problem. Den så kallade sockeleffekten – tanken att förlustfunktionen aldrig når noll ens med oändliga datamängder, vilket kan snedvrida hur vi tolkar skalningskurvorna – testades som en möjlig förklaring. Men även efter att ha korrigerat för den effekten kvarstår det grundläggande problemet. Det finns alltså inget enkelt tekniskt kryphål att ta till.

Turbulens som metafor

Ett av de mer fascinerande inslagen i studien är att forskarna drar paralleller till turbulensmodeller inom vätskedynamik. Det låter abstrakt, men poängen är elegant: precis som turbulensens beteende i en vätska beror på materialets egenskaper, påverkas AI-modellernas skalningsegenskaper av träningsdatans karaktär. Det är inte bara en fråga om hur mycket data – det handlar om vilken sorts data.

Som systemutvecklare tycker jag det är en klargörande analogi. Vi är vana vid att tänka på träningsdata som en homogen resurs man bara öser på. Den här forskningen antyder att verkligheten är mer komplex – och att vi kanske mäter fel saker när vi utvärderar skalningens effektivitet.

Den svenska dimensionen

För Sverige och Norden är den här frågan särskilt relevant. Vi har gynnats av tillgång till förnybar energi och ett gynnsamt klimat för datacenteretablering, vilket lockat stora aktörer. Men om energiförbrukningen för AI-träning ökar exponentiellt – snarare än linjärt – räcker inte ens vattenkraft och vindkraft till i längden utan en fundamental omläggning av hur modellerna byggs.

Europeiska beslutsfattare som arbetar med AI-förordningen och relaterad klimatlagstiftning borde ta del av den här forskningen. I dag saknas det i stort sett krav på att AI-system ska redovisa sin energiförbrukning på ett standardiserat sätt. Det är en lucka som borde täppas till – inte för att bromsa AI-utvecklingen, utan för att styra den rätt.

Vad industrin behöver höra

Det finns en tendens i branschen att behandla energifrågan som ett logistikproblem: bygg fler datacenter, köp mer förnybar el, sätt upp klimatmål i hållbarhetsrapporten. Men den här studien antyder att problemet är mer strukturellt. Det handlar om att de grundläggande metoderna för att bygga och skala stora språkmodeller kanske inte är rätt väg framåt – åtminstone inte i sin nuvarande form.

Det öppnar i sin tur upp för genuint spännande forskning. Effektivare träningsmetoder, arkitekturval som prioriterar beräkningssnålhet, och bättre förståelse för hur datakvalitet påverkar inlärningseffektivitet – det är områden där vi kan förvänta oss genombrott de närmaste åren. Krisen, om man vill kalla den så, driver innovation. Det har den alltid gjort.