Forskningskapplöpning om AI-hastighet – nya metoder kan öka prestandan med 40 procent

Forskarna tävlar om att göra AI snabbare – nya metoder kan öka hastigheten med 40 procent

Forskningsvärlden är mitt i en intensiv tävling om att göra AI-modeller snabbare och mer kostnadseffektiva. Under bara några veckor har flera banbrytande metoder presenterats som tillsammans kan förändra hur vi använder stora språkmodeller.

Hastighetsgenombrott med intelligent hoppning

Den kanske mest imponerande framgången kommer från en teknik kallad ConfLayers, enligt en ny studie på arXiv. Metoden kan göra stora språkmodeller upp till 40 procent snabbare genom att intelligent hoppa över beräkningslager som inte behövs.

Tekniken fungerar genom så kallad självspeculativ avkodning – modellen använder en förenklad version av sig själv som utkast innan den slutliga texten genereras. Det smarta är att systemet beräknar kontinuerligt hur säker modellen är på olika lager och dynamiskt väljer vilka som kan hoppas över utan att påverka kvaliteten.

"Det som gör ConfLayers så praktiskt användbart är att det inte kräver särskild träning", förklarar forskarna. "Det kan pluggas in i befintliga modeller och anpassar sig själv till olika uppgifter."

Kostnadsrevolution genom promptkomprimering

Parallellt har forskare presenterat en banbrytande metod för promptkomprimering som kan sänka AI-kostnaderna dramatiskt. Tekniken använder ordboksbaserad kodning där återkommande textsekvenser ersätts med kompakta symboler – utan informationsförlust.

Tester på Claude 3.7 Sonnet visade exakta träffar på över 99 procent även vid komprimeringsgrad på 60-80 procent. Detta löser två grundläggande problem med API-baserade språkmodeller: tokenbegränsningar och höga kostnader.

Väckande av sovande experter

En annan fascinerande utveckling handlar om att lösa problemet med "sovande experter" i AI-modeller. Forskare har upptäckt att specialistkunskap inom expertnätverk ofta förblir oanvänd när den behövs som mest.

Den nya metoden, Kontrafaktisk Styrning (CoR), fungerar som ett träningsfritt ramverk som väcker dessa sovande experter. Genom lagervisa störningsanalyser flyttas beräkningsresurser dynamiskt från syntaxhantering till kunskapsintensiva uppgifter. Resultatet: faktakunskapen ökade med 3,1 procent utan ökade beräkningskostnader.

Chipdesign får AI-boost

Kanske det mest överraskande genombrottet kommer från chipdesign. Forskare har utvecklat TOPCELL, som använder stora språkmodeller för att optimera transistortopologier – något som traditionellt krävt enorma beräkningsresurser.

Systemet omformulerar det komplexa optimeringsproblem till en generativ uppgift där AI:n lär sig skapa effektiva transistorlayouter. I tester på industriell 7nm-teknik var metoden 85,91 gånger snabbare än uttömmande sökalgoritmer samtidigt som den matchade kvaliteten.

Hybridarkitektur för expertnätverk

Slutligen presenterar forskarna ELMoE-3D, en hybridarkitektur som tacklar flaskhalsar i Mixture-of-Experts-modeller. Genom att kombinera cache-baserad acceleration med spekulativ avkodning uppnåddes 6,6 gånger högre hastighet och 4,4 gånger bättre energieffektivitet jämfört med traditionella metoder.

Gemensamt för alla dessa genombrott är fokuset på praktisk användbarhet – tekniker som kan implementeras i befintliga system utan omfattande omträning eller infrastrukturbyte.