Forskarnas genombrott kan göra AI upp till 22 gånger snabbare – på en tjugondel av strömmen

Problemet som ingen längre kan ignorera

Det råder ingen tvekan om att AI-boomen har ett pris. Datacenter drar mer el, kylsystem jobbar på högvarv och koldioxidavtrycket från modellträning mäts i ton. Men istället för att bromsa utvecklingen svarar forskarvärlden med en våg av innovationer som angriper ineffektiviteten från flera håll samtidigt. Den senaste månaden har producerat en imponerande samling resultat – och tillsammans målar de upp en tydlig riktning.

Hårdvaran: 22 gånger snabbare på 20 watt

Låt oss börja i botten av stacken. Ett forskarlag har presenterat TRINE, en hårdvaruaccelerator byggd på FPGA-kretsar som kör komplexa multimodala AI-modeller – alltså system som kombinerar bild-, text- och grafbearbetning – utan att behöva omkonfigureras mellan uppgifter. Resultaten är anmärkningsvärda: upp till 22,57 gånger lägre svarstid jämfört med Nvidias RTX 4090, vid en effektförbrukning på bara 20–21 watt.

Det är en siffra värd att stanna upp vid. En RTX 4090 drar upp till 450 watt under last. TRINE levererar alltså snabbare svar på ungefär en tjugondel av strömmen. En inbyggd mekanism för tokenbeskärning ger ytterligare upp till 7,8 gånger snabbare bearbetning i bildtunga modeller, medan noggrannhetsförlusten vid 8-bitars kvantisering stannar under 2,5 procent. Det är den typen av kompromiss som ingenjörer gillar.

Mjukvaran: Lär modellen att sluta övertänka

Parallellt med hårdvaruframstegen pågår en lika viktig utveckling på mjukvarusidan. Moderna resonerande AI-modeller har en tendens att "övertänka" – de genererar långa tankekedjor fyllda med upprepningar som kostar beräkningskraft utan att förbättra svaren. Ramverket SLAT (Segment-Level Adaptive Trimming) angriper detta med förstärkningsinlärning som selektivt rensar bort segment med lågt informationsvärde. Resultatet är att resoneringskedjorna halveras i längd, med bibehållen träffsäkerhet.

Kompletterande forskning visar att sökstruktur spelar stor roll för hur effektivt en modell resonerar. Metoden LinTree gör den underliggande trädsökningen explicit genom enkla föräldrapekare, vilket förbättrar både uppgiftsprestanda och sökeffektivitet. Det låter nästan för enkelt – men ibland är det de enkla ingreppen som ger störst utdelning.

Systemet: Rätt modell för rätt uppgift, i realtid

En tredje front handlar om hur man väljer och konfigurerar modeller i driftsättning. UniScale förenar två tidigare separata strategier – att välja mellan modeller av olika storlek, och att justera beräkningsresurser inom en modell – i ett gemensamt optimeringsutrymme. Systemet använder en kontextuell flerarmad bandit med algoritmen LinUCB för att i realtid lära sig vilken kombination som ger bäst kvalitet per beräkningskrona. I dynamiska driftsmiljöer, där förutsättningarna ständigt förändras, är det just den typen av adaptiv intelligens som gör skillnad.

Den radikala idén: Skippa träningen helt

Längst ut på forskningsfronten finns en mer konceptuellt utmanande ansats. En ny arkitektur ersätter djupa neurala nätverk med så kallade RBF-nätverk (radiella basfunktionsnätverk) och beräknar den optimala lösningen direkt i sluten form – på en enda iteration. Det innebär att det energikrävande träningssteget potentiellt kan elimineras helt. Metoden befinner sig fortfarande i tidigt skede, men det faktum att oberoende forskargrupper i Kina konvergerat mot samma grundläggande mekanik är en signal värd att ta på allvar.

Effektivare inlärning mellan modeller

Slutligen adresserar LARK ett problem i kunskapsöverföringen mellan stora och små modeller – så kallad resonemangsdestillation. Tidigare metoder valde träningsdata utan hänsyn till om den mindre modellen faktiskt kunde lära sig av dem. LARK introducerar ett inlärbarhetsmått som mäter hur snabbt modellens träningsförlust minskar för en given sekvens, och väljer sedan ut de exempel som är både lärorika och representativa. Koden är öppen källkod – vilket ökar sannolikheten att den faktiskt används i praktiken.