Forskarnas genombrott: nya metoder gör AI snabbare, billigare – utan att tappa förmåga

Effektivitetens år

Det råder sällan brist på löften inom AI-forskningen. Men när flera oberoende forskarlag publicerar resultat som alla pekar åt samma håll – mer kapabel AI till lägre kostnad – är det värt att stanna upp och förstå vad som faktiskt händer.

Den senaste månaden har bjudit på just det: en rad publicerade metoder som angriper effektivitetsproblemet från olika vinklar. Tillsammans målar de upp en bild av ett forskningsfält som mognar snabbt.

Snabbare hantering av långa texter

Ett av de mer grundläggande problemen med dagens språkmodeller är att beräkningskostnaden exploderar när texterna blir långa. Det beror på hur uppmärksamhetsmekanismen – hjärtat i transformatorarkitekturen – fungerar: kostnaden ökar kvadratiskt med textlängden.

Ett forskarlag har nu presenterat BF1, en metod som ersätter det täta uppmärksamhetsmönstret med ett glesare alternativ som kombinerar lokala textfönster, ett globalt startblock och historiska block med logaritmiska mellanrum. Resultatet är att beräkningskostnaden växer logaritmiskt istället – en enorm skillnad vid längre texter. På modern hårdvara uppnåddes en tiofaldig hastighetsökning per lager vid 32 000 tokens, och när delar av modellen Qwen3-0.6B konverterades sjönk svarstiden med upp till 15 procent. Noterbart är att precisionen inte försämrades – metoden visade faktiskt bättre språkmodellering än jämförbara alternativ.

Komprimering utan kvalitetsförlust

En annan flaskhals är kvantisering – tekniken att sänka precisionen på modellens interna beräkningar för att spara minne. Det fungerar, men brukar kosta i prestanda. Nu presenterar forskare Jacobian-styrd brusinjicering, en metod som identifierar softmax-operatorn som en särskilt känslig punkt i processen och injicerar noggrant kalibrerat brus under träning för att göra modellen mer motståndskraftig. Resultaten är påtagliga: upp till 37 procents förbättring i bildklassificering och upp till 40 procents bättre språkmodellsprestanda vid låg bitprecision.

På liknande tema finns COEC – ett ramverk för beskärning av modeller som, utan att kräva ytterligare träning, kompenserar för de fel som uppstår när delar av modellens vikter tas bort. Metoden tillämpar ortogonala rotationer på de kvarvarande vikterna och använder statistik från ett litet kalibreringsdataset. I tester på Llama-3, Llama-3.1 och Qwen2.5 gav COEC märkbara förbättringar jämfört med tidigare kompensationsmetoder – särskilt vid hög beskärningsgrad.

Smarta uppdateringar och edge-driftsättning

Men effektivitet handlar inte bara om träning och inferenshastighet. Det handlar också om hur modeller hanteras i drift.

CellFill löser ett elegant problem: varje gång en driftsatt modell uppdateras traditionellt ersätts hela filen, vilket ogiltigförklarar cachade resultat och tidigare utvärderingar. Med CellFill skrivs ny kunskap istället in i tomrummet inom varje kvantiseringscell i en 4-bitarsmodell – originalbitarna rörs inte. Modellen kan sedan komprimeras tillbaka till exakt samma bitsekvens som originalet. Uppdateringar blir reversibla: vill man ta bort ny kunskap räcker det att släppa residualen.

På hårdvarusidan presenteras Bern2Edge, ett ramverk för att driftsätta neurala nätverk på resursbegränsad hårdvara – exempelvis inbyggda system och FPGA-kretskort. Genom kunskapsdestillering och Bernstein-polynomaktiveringsfunktioner uppnår systemet upp till 99,8 procents minskning av svarstid och 95,2 procents minskning av minnesutnyttjande jämfört med en kvantiserad referensmodell – med bibehållen noggrannhet inom 0,5 procentenheter.

Även träningen effektiviseras

Slutligen, och kanske lite oväntat: effektivitetsjakten gäller inte bara hur modeller körs – utan också hur de tränas. Optimeringsalgoritmen Muon har länge visat lovande resultat för språkmodeller, och nu visar ny forskning att den konsekvent överträffar den vedertagna AdamW-algoritmen med 12,9–19,1 procent i generativ kvalitet för bildgenererande modeller. Problemet har varit att Muon är beräkningstung vid stor skala. Lösningen kallas Periodic Row-wise Muon och utför den dyra spektraluppdateringen mer sällan, vilket minskar optimeringstiden med upp till 54 procent och kommunikationsvolymen med 67 procent – utan att kvaliteten försämras nämnvärt.