Liquid AIs nya teknik låter avancerade AI-modeller köras lokalt – utan att mer än tre procent av prestandan går förlorad
Avancerad AI ryms nu i din bärbara dator – utan att nästan någon förmåga går förlorad.
Komprimering utan att tumma på kvaliteten
En av de mest seglivade spänningarna inom AI-driftsättning har handlat om storleken kontra prestandan. Du kan ha en riktigt duktig modell — men om den kräver ett serverrack för att köras är den oanvändbar för de flesta verkliga tillämpningar. Det är precis det problemet som Liquid AI nu tar ett konkret tag i.
Enligt Hugging Face Blog har Liquid AI släppt komprimerade versioner av sina LFM2.5-språkmodeller i storlekar från 230 miljoner till 2,6 miljarder parametrar. Det som gör dem tekniskt intressanta är metoden bakom: i stället för att komprimera en färdigtränad modell i efterhand används en teknik kallad kvantiseringsmedveten destillation. En högprecisionsmodell fungerar som lärare och vägleder en komprimerad elevmodell redan under träningsprocessen. Resultatet är modeller som återvinner i snitt 97 procent av den prestanda som normalt försvinner vid komprimering till fyra bitar.
Det låter nästan för bra för att vara sant, men Liquid AI har backat upp siffrorna med mätningar på verklig hårdvara — MacBook Pro, en miniPC, Samsung Galaxy S26 Ultra och Raspberry Pi 5. De minsta modellerna visar 4–33 procents högre genomströmning jämfört med konkurrerande komprimeringsformat. Modellerna fungerar dessutom med det utbredda körningsramverket llama.cpp och filformatet GGUF, vilket innebär att de kan användas direkt i befintliga arbetsflöden utan att man behöver byta verktygskedja.
För ett företag som vill köra AI lokalt — på en bärbar dator, en industriterminal eller en mobilenhet — är det här genuint relevanta tal.
Skarpare sökning utan att offra detaljer
Parallellt med detta tar textsökning ett steg framåt i version 6.0 av Sentence Transformers, som rapporteras av Hugging Face Blog. Biblioteket introducerar en fjärde modelltyp: MultiVectorEncoder, byggd på den så kallade ColBERT-arkitekturen.
För att förstå vad som är nytt behöver man veta hur vanliga inbäddningsmodeller fungerar. De komprimerar hela en text — oavsett längd och komplexitet — till en enda vektor, ett fast antal tal som ska sammanfatta allt. Det fungerar förvånansvärt väl i många fall, men informationsförlust är oundviklig. En sökfråga som "grön soffa med träben och rundade kuddar" pressas ihop till en enda punkt i vektorrummet, vilket gör det svårt att belöna ett resultat som faktiskt matchar alla fyra kraven.
Multi-vektormodeller löser detta genom att behålla en separat vektor för varje teckenhet i texten. En mening på nio teckenheter representeras alltså som en matris med nio vektorer. Vid sökning används en metod kallad MaxSim: för varje teckenhet i sökfrågan hittas den mest lika teckenheten i dokumentet, och dessa toppvärden summeras. Det ger en mer nyanserad matchning — i stället för ett enda grövt genomsnitt får varje detalj i frågan en chans att bidra till poängsättningen.
Kostnaderna för metoden är reella: att lagra och söka bland matriser kräver mer minne och beräkningskraft än vanliga envektorslösningar. Men för tillämpningar där precision verkligen spelar roll — juridisk dokumentsökning, teknisk support, produktkataloger med många liknande artiklar — kan det vara precis den skillnaden som avgör om systemet faktiskt är användbart.
Två framsteg, en gemensam riktning
Det är värt att stanna upp och se dessa två nyheter tillsammans. De handlar om vitt skilda tekniska problem — modelltorlek respektive sökprecision — men de pekar mot samma underliggande rörelse i branschen: AI som faktiskt går att använda i praktiken, på riktiga resurser, för riktiga behov.
Länge har diskussionen om AI-förmågor dominerats av vad de allra största modellerna klarar av. Det är begripligt, men det har också skapat en något skev bild av vad som är relevant för de flesta organisationer. En mellanstor svensk tillverkare, en kommunal förvaltning eller ett tjänsteföretag behöver sällan GPT-4-nivå på allt — men de behöver modeller som fungerar tillförlitligt, är kostnadseffektiva och kan köras utan att man lämnar ifrån sig känsliga data till externa tjänster.
Det är i det rummet som dessa framsteg är mest värda att följa.
Vår analys
Det som imponerar mest med Liquid AIs resultat är inte siffran 97 procent i sig — det är att den uppnås via en principiellt annorlunda metod. Kvantiseringsmedveten destillation är inte ett enkelt knep utan en träningsstrategi, vilket antyder att liknande ansatser kan ge utdelning för andra modellarkitekturer framöver. Om mönstret håller kan vi förvänta oss att prestandagapet mellan stora och komprimerade modeller fortsätter att krympa.
MultiVectorEncoder i Sentence Transformers är å sin sida ett tecken på att ekosystemet runt sökning mognar. När ColBERT-liknande arkitekturer tar sig in i etablerade bibliotek sänks trösklarna dramatiskt — det som tidigare krävde specialiserad kunskap blir tillgängligt för en bredare krets av utvecklare.
Samtidigt bör man vara realistisk: bättre verktyg löser inte automatiskt problem med datakvalitet, systemdesign eller organisatorisk förändring. Men de tar bort ett antal tekniska ursäkter för att inte komma igång. Det är ett framsteg i rätt riktning.