Forskningsgenombrott visar vägen mot billigare AI – energiförbrukningen kan minska med 35 procent

Energieffektivitet blir AI:s nya gräns

När svenska företag ser sina energiräkningar för AI-träning skjuta i höjden, kommer hjälp från ett oväntat håll – forskarlaboratorierna. Flera parallella genombrott visar nu att både energiförbrukningen och träningstiden för AI-modeller kan minskas drastiskt utan att kompromissa med prestanda.

Det kanske mest konkreta genombrottet kommer från forskning kring mjuk gleshet (soft sparsity) för AI-chips. Enligt nya rön från arXiv kan tekniken minska energiförbrukningen med upp till 35 procent genom att identifiera och hoppa över obetydliga beräkningar i neurala nätverk. Metoden implementerades som en specialbyggd RISC-V-instruktion och visade att antalet beräkningar kunde reduceras med nästan 90 procent för vissa typer av aktiveringar – utan någon förlust i träffsäkerhet.

"Detta är betydligt bättre än traditionella metoder som endast hoppar över matematiska nollor", förklarar forskarna. Tekniken fungerar genom att stänga av inaktiva multiplikatorer i chippet, vilket direkt översätts till energibesparingar.

Smarta algoritmer revolutionerar träningsprocessen

Parallellt utvecklas nya optimeringsalgoritmer som angriper problemet från ett annat håll. HTMuon, en vidareutveckling av optimeringsmetoden Muon, har visat lovande resultat för träning av stora språkmodeller. Metoden bygger på teorin om tungsvansad självreglering och löser grundläggande problem med hur tidigare optimerare hanterar parameteruppdateringar.

I tester på språkmodeller av LLaMA-typ minskade HTMuon perplexiteten – ett mått på modellens osäkerhet – med nästan en hel enhet jämfört med föregångaren. Det låter kanske modest, men i AI-träningens värld är sådana förbättringar betydande.

Ännu mer revolutionerande är Mashup Learning, en metod som dramatiskt kan förkorta träningstiden genom att återanvända tidigare träningsresultat. Istället för att börja från noll vid varje ny modell, identifierar tekniken relevanta historiska modeller och skapar en intelligent startpunkt.

Resultatet? 41-46 procent färre träningssteg och upp till 37 procent kortare total träningstid för att nå samma noggrannhet. I en bransch där träning av stora modeller kan kosta miljontals kronor i beräkningskraft, är detta genombrott ekonomiskt betydelsefullt.

Finslipning får intelligens

För företag som vill anpassa befintliga modeller till specifika uppgifter kommer ReMix-metoden (Reinforcement Routing for Mixture-of-LoRAs) med goda nyheter. Tekniken löser ett klassiskt problem där vissa delar av modellen dominerar medan andra knappt används, genom att använda förstärkningsinlärning för att säkerställa jämn användning av alla komponenter.

Slutligen utmanar forskning kring harmonisk förlust hela grunden för hur vi tränar AI-system. Genom att ersätta traditionell korsentripi-förlust med distansbaserade metoder, särskilt kosinus-avstånd, har forskare visat både förbättrad noggrannhet och lägre koldioxidutsläpp.

Svensk tillämpning inom räckhåll

Dessa genombrott kommer inte en dag för sent för svensk AI-utveckling. Med stigande energipriser och växande fokus på hållbarhet behöver svenska företag verktyg för att utveckla AI-lösningar utan att spränga budgeten eller miljömålen.

Flera av metoderna – särskilt den hårdvarueffektiva gleshetstekniken och Mashup Learning – är mogna nog för praktisk implementering redan idag. För mindre företag som inte har råd med månader av GPU-tid kan återanvändning av tidigare träningsresultat bli en spelförändring.