Komprimerad AI-modell på 8 GB slår originalet på 54 GB i verktygsanrop — och ryms på bärbara datorer

Storleken är inte längre ett trumfkort

Det har länge funnits en tyst överenskommelse inom AI-världen: vill du ha bra prestanda, behöver du stora modeller. Stora modeller kräver stora maskiner. Stora maskiner kräver stora budgetar. Den logiken börjar nu krackelera på allvar.

Conway Research presenterar enligt MarkTechPost Saluki 27B, en tvåbitars komprimerad version av Qwen3.8-27B, utgiven under den öppna licensen Apache 2.0. Originalmodellen väger 54 GB — ett format som kräver dyr serverinfrastruktur för att köras smidigt. Saluki 27B väger 7,89 GB. Det är en storleksminskning på nästan 85 procent, och modellen får utan problem plats på de flesta moderna konsumentdatorer.

Det imponerande är inte bara att modellen klarar sig trots komprimeringsgraden — det är att den på ett avgörande område faktiskt presterar bättre än originalet.

Verktygsanrop: där agenter visar sin styrka

För den som inte arbetar dagligen med AI-agenter kan begreppet "verktygsanrop" behöva lite kontext. En språkmodell som enbart genererar text är i grunden en avancerad textkompletterare. Men när modellen kopplas ihop med externa funktioner — att söka på webben, läsa en fil, anropa ett API, köra kod — förvandlas den till en autonom agent som kan agera i världen, inte bara skriva om den.

Förmågan att göra dessa anrop korrekt, och helst flera parallellt, är därför en av de mest praktiskt relevanta måtten på en modells nytta i verkliga tillämpningar. Här uppnår Saluki 27B 42 poäng på parallella verktygsanrop, mot originalets 35. Det är ingen marginell skillnad — det är en tydlig förbättring.

Hur kan en komprimerad modell slå originalet? En trolig förklaring är att träningsprocessen inför komprimering har finjusterat modellen specifikt för dessa uppgifter, vilket råkar sammanfalla bättre med riktmärkets struktur. Det är också möjligt att den tvingade begränsningen av modellvikter fungerar som en form av regularisering — en välkänd effekt inom maskininlärning där en viss grad av begränsning faktiskt tvingar fram bättre generalisering på specifika uppgifter.

Kompromisserna finns — men är hanterbara

Saluki 27B är inte felfri. Inom avancerad matematik och flerstegstänkande sjunker prestandan med 12–18 procentenheter jämfört med originalet. Det är en reell försämring som inte bör sopas under mattan. Den som planerar att använda modellen för komplexa matematiska resonemang eller långa kedjor av logiska slutledningar bör tänka sig för.

Men för den stora majoriteten av praktiska användningsfall — kodassistans, dokumentanalys, agentflöden, strukturerad datautvinning — pekar riktmärkena på att 96 procents genomsnittlig prestanda är mer än tillräckligt. Det är ett välgrundat avvägningsbeslut, inte ett desperat kompromissande.

En annan styrka som inte ska underskattas: modellen körs i standardversionen av llama.cpp, det mest spridda ramverket för lokal AI-körning. Det betyder att ingen specialprogramvara, inga exotiska beroenden och inga komplicerade installationer krävs. Du laddar ner modellen, startar llama.cpp och kör igång. Den låga tröskelns betydelse för hur brett ett verktyg faktiskt används kan inte överskattas.

Öppen källkod gör skillnaden

Att Conway Research valt Apache 2.0-licensen är inte en bisak. Det innebär att modellen fritt kan användas, modifieras och byggas vidare på — även i kommersiella sammanhang. I ett landskap där många kraftfulla modeller antingen är slutna eller har restriktiva licenser är det ett aktivt val som sänker tröskeln för utvecklare, forskare och företag som vill experimentera utan att skriva under komplexa avtal.

Saluki 27B är ett bra exempel på hur öppen källkod och effektiv komprimering tillsammans demokratiserar tillgången till kapabel AI — inte som ett politiskt ställningstagande, utan som ett praktiskt faktum.