Slöseriet med beräkningskraft kan minska kraftigt – forskarna presenterar vägar mot smartare och billigare AI
Ny forskning visar att AI-modeller slösar enorma resurser i onödan.
Slöseriet med beräkningskraft börjar få ett slut
När en stor språkmodell resonerar sig fram till ett svar gör den det ofta med råstyrka – den fortsätter tänka långt efter att svaret egentligen är uppenbart. Det är ett välkänt ineffektivitetsproblem, och nu adresseras det på flera håll samtidigt.
Forskarna bakom DyCon (publicerat på arXiv) visar att uppgiftens upplevda svårighetsgrad faktiskt förändras dynamiskt under resonemangsprocessen, och att denna förändring är linjärt kodad i modellens interna representationer. Det låter tekniskt, men konsekvensen är konkret: systemet kan i realtid avgöra när det är dags att sluta tänka och ge ett svar – utan att försämra noggrannheten. Testerna spänner över tolv riktmärken och modeller mellan 4 och 32 miljarder parametrar. Det är ett imponerande spann.
På liknande spår presenteras PoLar (Program-of-Layers), en metod som ifrågasätter ett av de mest grundläggande antagandena i hur språkmodeller fungerar: att varje indata måste passera alla lager i fast ordning. I stället grupperas lager som moduler som kan hoppas över eller upprepas beroende på vad frågan kräver. Ett lättviktigt styrnätverk genererar skräddarsydda beräkningsprogram för varje indata. Resultaten på matematisk problemlösning är övertygande – och metoden klarar sig väl även på data utanför träningsfördelningen, vilket ofta är där modeller brukar vackla.
Komprimering och träning – nu smartare
Ett annat angreppssätt handlar om att krympa modellerna utan att offra prestanda. Det nya komprimeringssystemet som presenteras på arXiv kombinerar strukturell beskärning och kvantisering – att representera data med färre bitar – i ett och samma optimeringssteg i stället för att hantera dem separat. Vid extremt låg precision på 1–3 bitar uppnås upp till 85 procent lägre felmått jämfört med ledande konkurrenter. Det är en siffra som borde få hårdvaruingenjörerna att spetsa öronen.
Men det handlar inte bara om att göra befintliga modeller mindre. RASFT och TALAN är två nya metoder som förbättrar själva träningsprocessen. RASFT anpassar handledningsnivån efter hur svårt ett problem faktiskt är för den aktuella modellen – klarar modellen en uppgift på egen hand minskas styrningen, och modellens egna korrekta lösningar vägs in. Det är en elegant lösning på problemet med alltför slavisk imitation av exempellösningar.
TALAN fungerar i stället som en sidoväg inuti modellens arkitektur och samtränas med befintliga anpassningstekniker. Kostnaden är remarkabelt låg: under en procent extra parametrar och en till två procents ökad beräkningstid, med ett genomsnittligt prestationslyft på upp till 1,85 poäng på kodnings- och naturvetenskapliga riktmärken.
Datahungern möts med smartare skalningslagar
En av de mer strukturella utmaningarna för branschen är att beräkningskraften växer snabbare än tillgången på naturlig textdata. Det innebär att modeller i allt högre grad tränas upprepade gånger på samma datamängder. Forskargruppen bakom MIR och SoftQ har studerat just detta och visar att den klassiska Chinchilla-lagen är otillräcklig i detta sammanhang. Deras nya regulariseringsteknik MIR motsvarar enligt den nya skalningsmodellen ungefär 1,3 gånger mer unik träningsdata – ett betydande bidrag när data är en bristvara.
Modulär AI som utmaning mot centraliseringen
Kanske det mest principiellt intressanta bidraget i den här vågen av forskning är det som handlar om skalbart deltagande – ett ramverk där AI-system byggs underifrån av många specialiserade bidragsgivare i stället för centraliserat av ett fåtal stora aktörer. De sammansatta systemen presterar enligt arXiv-artikeln upp till 15,4 procent bättre än monolitiska stormodeller på 15 olika uppgifter, och lyckas lösa problem där samtliga enskilda delmodeller misslyckas. Mångfalden är med andra ord inte bara en ideologisk poäng – den ger mätbar prestandafördel.
Slutsatsen som väver samman all denna forskning är egentligen ganska tydlig: den nuvarande resursintensiva modellen för AI-träning är inte ett naturlag. Det är ett ingenjörsproblem – och ingenjörerna är på god väg att lösa det.
Vår analys
Det som är slående med den här forskningsvågen är inte att någon enskild metod förändrar allt – det är att de pekar i exakt samma riktning samtidigt. Dynamiskt resonemang, adaptiv träning, modulär arkitektur och smartare komprimering är i grunden olika svar på samma fråga: hur gör vi AI mindre slösaktig?
För de stora AI-bolagen är det här på sikt en dubbeleggad nyhet. Effektivare träning sänker trösklarna och öppnar för fler aktörer – vilket rimmar väl med forskningen om modulär, distribuerad AI-utveckling. Den centraliserade kontroll som i dag följer av astronomiska träningskostnader kan gradvis erodera.
Jag ser det som övervägande positivt. Teknik som är tillgänglig för fler ger mer innovation, fler användningsområden och bättre möjligheter att bygga AI som faktiskt passar de problem vi vill lösa – inte bara de problem som kräver ett datacenter att tackla.