Ny forskning: AI upp till 42 gånger snabbare – utan dyra grafikprocessorer

När akademin levererar verktyg som faktiskt används

Akademiska AI-papper publiceras i en strid ström på arXiv – merparten är teoretiska framsteg som tar år att nå produktion, om de ens gör det. Men ibland dyker det upp resultat som träffar rakt in i de problem som faktiskt håller ingenjörer och driftansvariga vakna om nätterna. Den senaste veckan bjöd på två sådana resultat, och det är värt att titta på dem tillsammans.

FlashAttention-V: transformermodeller frigörs från GPU-beroendet

Sedан transformer-arkitekturen tog över som den dominerande modellen för språkförståelse har attentionsmekanismen varit en välkänd flaskhals. Den är beräkningstung och ställer enorma krav på minnesbandbredd – vilket i praktiken har betytt att moderna språkmodeller nästan uteslutande körts på dyra, specialiserade grafikprocessorer.

Nu presenterar ett forskarlag FlashAttention-V, en anpassning av den redan populära FlashAttention-metoden, men den här gången konstruerad för skalbara vektorarkitekturer på vanliga processorer. Grundidén är elegant: genom att utnyttja parallellism mellan uppmärksamhetshuvuden och optimera hur data hämtas ur minnet kan man dramatiskt minska den tid modellen lägger på att vänta på data snarare än att faktiskt räkna.

Resultaten är slående. I simuleringar uppnår metoden 22–42 gångers hastighetsökning under det som kallas prefill-fasen – den del av inferensen där modellen bearbetar indata – vid 512-bitars vektorlängd. Forskarnas tester på hårdvaran Banana Pi BPI-F3 bekräftar att de teoretiska vinsterna håller även i praktiken.

Detta är inte en marginell förbättring. Det är skillnaden mellan att en liten språkmodell knappt går att använda på en vanlig dator och att den faktiskt fungerar smidigt. För den som bygger lokala tillämpningar, inbyggda system eller resursbegränsade produkter är det här en potentiell vändpunkt.

Forskarna är dock ärliga med en strukturell begränsning: nuvarande kvantiseringsformat för linjära lager bromsar skalbarhet vid ännu bredare vektorenheter. Det är ett konkret och lösbart problem, men det påminner om att varje optimering bär på sina egna kompromisser.

AI som optimerar sin egen infrastruktur

Parallellt med genombrott i råhastighet finns ett lika angeläget problem: energiförbrukningen i datacentraler växer i takt med AI-efterfrågan, och det i en hastighet som börjar dra till sig både politisk och allmän uppmärksamhet.

Här levererar ett annat forskarlag ett svar som är lika praktiskt som det är principiellt intressant. I samarbete med en verklig datacentralsoperatör har de byggt ett system som använder stora språkmodeller för att förutsäga och optimera resursanvändningen i realtid. Systemet analyserar källkod för att uppskatta beräkningstid och energiåtgång, och styr sedan dynamiskt hur grafikprocessorer fördelas mellan olika arbetsuppgifter.

Enligt rapporten på arXiv minskade energiförbrukningen med 32 procent och väntetiderna för beräkningsuppgifter sjönk med 30 procent i de verkliga testerna. Det är siffror som en driftansvarig kan ta direkt till sin chef – och faktiskt få gehör.

Det som gör systemet extra intressant ur ett praktiskt perspektiv är att det kräver relativt lite träningsdata och fungerar väl för många olika typer av arbetsuppgifter. Det är ingen lösning som kräver sex månaders anpassning per installation. Forskarna nämner också att systemet är konstruerat för att på sikt kunna ta hänsyn till vattenåtgång för kylning och koldioxidutsläpp – vilket gör det till en plattform snarare än ett engångsverktyg.

Två sidor av samma mynt

Det är lätt att se dessa två resultat som separata nyheter. Men de adresserar egentligen samma grundläggande spänning: AI-teknikens kapacitet ökar snabbare än vår förmåga att hantera dess resurskrav på ett ansvarsfullt sätt.

FlashAttention-V demokratiserar inferensen – gör det möjligt att köra modeller på billigare och mer tillgänglig hårdvara. Det minskar beroendet av storskalig molninfrastruktur och öppnar för lokala tillämpningar där integritet och låg fördröjning spelar roll.

Datacentralsoptimeraren angriper problemet från andra hållet – givet att vi ändå kör storskaliga system, hur gör vi det med minsta möjliga resursslöseri?

Tillsammans är de ett tecken på att AI-forskningen börjar ta infrastrukturfrågan på allvar, inte som en sidoeffekt utan som ett centralt designproblem.