Googles nya teknik kan dramatiskt minska AI-modellers minneskrav

Polära koordinater revolutionerar AI-minne

När Google Research presenterade TurboQuant förra månaden var det inte bara ännu en teknisk förbättring – det var början på slutet för Big Techs AI-monopol. Enligt Ars Technica kan den nya komprimeringsalgoritmen minska minneskraven för stora språkmodeller med hela 600 procent samtidigt som prestandan faktiskt förbättras.

För oss som byggt system vet vi att minne ofta är flaskhalsen. Dagens generativa AI-modeller kräver enorma mängder RAM, vilket driver upp priserna på hårdvara och gör kraftfulla modeller otillgängliga för mindre aktörer. TurboQuant angriper problemet där det gör mest skada: i den så kallade nyckel-värde-cachen.

Tänk på cachen som en digital fusklapp – den lagrar viktig information så att modellen inte behöver beräkna samma sak om och om igen. Men den här fusklappen har hittills varit fruktansvärt minnesslukande.

Elegant matematik löser verkliga problem

TurboQuants första komponent, PolarQuant, är ren matematisk elegans. Istället för att lagra vektorer i traditionella koordinatsystem konverterar den till polära koordinater. Google förklarar det bäst själva: istället för "gå tre kvarter österut, fyra kvarter norrut" räcker "gå fem kvarter i 37 graders riktning".

Denna omvandling reducerar informationen till två delar: en radie som anger datastyrkan och en riktning som beskriver betydelsen. Det sparar inte bara utrymme – det eliminerar också dyra beräkningssteg som tidigare krävdes.

Den andra komponenten, Quantized Johnson-Lindenstrauss, fungerar som ett sofistikerat felrättningssystem. Det applicerar ett 1-bitslager som bevarar väsentlig vektorinformation medan det kastar bort det överflödiga.

Testresultaten talar sitt tydliga språk

I Googles tester på språkmodellerna Gemma och Mistral uppnådde TurboQuant något nästan för bra för att vara sant: perfekta resultat med drastiskt minskade minneskrav. Som systemutvecklare vet jag att sådana här genombrott är sällsynta – vanligtvis måste man välja mellan prestanda och resurseffektivitet.

Men varför är det här så betydelsefullt? Idag kostar det miljontals kronor att träna och driva de mest avancerade AI-modellerna. Det har skapat en situation där bara de största teknikjättarna kan konkurrera. OpenAI, Google, Microsoft och Meta har byggt vallgravar av hårdvara och kapital.

TurboQuant spricker dessa vallgravar. När minneskraven sjunker med 600 procent blir plötsligt kraftfull AI ekonomiskt genomförbar för universitetsforskare, startups och mindre företag. Det betyder också att vi kan få betydligt mer sofistikerade AI-funktioner direkt i våra telefoner och bärbara datorer.

Demokratisering genom teknik

Jag har sett den här utvecklingen förut. När GPU-beräkningar blev tillgängliga för allmänheten exploderade maskininlärning. När molnberäkning sänkte ingångströsklarna föddes tusentals nya tjänster. TurboQuant kan bli nästa katalysator.

Tekniken öppnar för helt nya användningsfall. Föreställ dig AI-assistenter som kör lokalt på din enhet utan att skicka data till molnet. Tänk på specialiserade AI-modeller för mindre språk eller nischområden som tidigare var ekonomiskt omöjliga att utveckla.

Google har ännu inte meddelat när TurboQuant blir allmänt tillgängligt, men historien visar att sådana genombrott snabbt sprids genom forskningssamhället. Öppen källkod-implementationer lär dyka upp inom månader.