Nya AI-modeller utmanar storskalig AI – dubbelt så snabb och möjlig att träna på bärbar dator
Ny AI-modell är dubbelt så snabb och ryms på en bärbar dator.
När storleken slutar avgöra allt
Det finns en seglivad föreställning om att AI-framsteg kräver miljarder parametrar, enorma serverhallar och budgetar som få organisationer ens kan drömma om. Den föreställningen håller på att vittra sönder — och den här veckan kom ytterligare två tydliga bevis på det.
Från Hugging Face Blog rapporteras att NeoMME — en ny familj av grundmodeller i storlekarna 260 miljoner och 800 miljoner parametrar — lyckas kombinera bild- och textbehandling i ett enda transformernätverk, helt utan separat förtränad bildkodare eller textavkodare. Det låter som en teknisk detalj, men det är faktiskt en arkitektonisk principfråga: i stället för att lappa ihop specialiserade delmodeller behandlas bild och text längs exakt samma beräkningsväg.
Konkret innebär det att bilder delas upp i rutnät av 32×32-pixelrutor och matas in sida vid sida med texttokens i en dubbelriktad transformerkodare. Modellen stödjer dessutom dynamisk bildupplösning, vilket betyder att den automatiskt justerar antalet tokens beroende på hur informationstät en bild är — en smart resursallokering som undviker onödigt beräkningsarbete.
Dubbelt så snabb, en bråkdel av indexstorleken
I praktiska tester på en NVIDIA L40S-grafikprocessor klarar 260M-varianten av att koda omkring 51 dokumentsidor per sekund vid en bildstorlek på 2 048×2 048 pixlar — ungefär dubbelt så snabbt som det jämförbara systemet ColModernVBERT, enligt Hugging Face Blog.
Noch mer imponerande är vad teamet gjort med lagring. Genom hierarkisk tokenpoolning och asymmetrisk kvantisering krymper sökindexet från ungefär 1,5 megabyte till blott 6 kilobyte per dokument. Det är inte en liten förbättring, det är en storleksordning som förändrar vad som är möjligt att driftsätta även med begränsad infrastruktur. Kontextfönstret på 16 384 tokens — tillräckligt för två fullstora 4K-bilder — gör att modellen klarar komplexa, informationstäta dokument utan att tappa tråden.
Flerspråkighet bär modellen i namnet. För dokumentigenkänning i europeiska och asiatiska sammanhang, där text kan blandas fritt med tabeller, formulär och grafik, är det en funktion som faktiskt spelar roll.
350 miljoner parametrar och en bärbar dator räcker
Parallellt med NeoMME-lanseringen publicerar Hugging Face en guide som visar något nästan provocerande enkelt: att det går att höja prestandan hos en liten språkmodell markant, utan varken stora resurser eller avancerad infrastruktur.
Genom grupprelativ policyoptimering — en form av förstärkningsinlärning — förbättrades modellen LFM2.5-350M från 22,6 till 29,7 procent på riktmärket IFStruct, vilket specifikt mäter hur väl en modell följer schemakrav som JSON eller YAML. Hela träningen kräver bara 500 träningsexempel och 100 träningssteg, och ryms på gratisversionen av molntjänsterna Colab eller Kaggle.
Det som gör detta särskilt intressant är inte bara siffrorna — det är tillgängligheten. Träningskoden finns öppet på GitHub. Utvärderingen gjordes lokalt på en MacBook Pro med Apples M5 Max-processor via det öppna verktyget llama.cpp. Ingenting i kedjan kräver ett företagskonto eller en dyr molnfaktura.
Strukturerade utdata — att en modell returnerar JSON med rätt schema snarare än löslig text — är ett av de vanligaste kraven i verkliga system. Ändå är det ett område som traditionella riktmärken mäter dåligt. IFStruct fyller den luckan, och resultaten antyder att förstärkningsinlärning kan vara ett av de mest resurseffektiva sätten att specialisera en liten modell för ett konkret användningsområde.
Samma berättelse, två olika vinklar
NeoMME och LFM2.5-350M är tekniskt sett helt olika projekt, men de bär på samma budskap: öppen AI demokratiseras snabbare än vad många trott. En modell som processar dokumentsidor i realtid med kilobyte-stora index. En annan som tränas till konkurrenskraftig förmåga på hårdvara vem som helst redan har hemma.
Det är inte längre en fråga om om små, öppna modeller kan utmana de stora slutna. Det är en fråga om hur snabbt ekosystemet runt dem mognar.
Vår analys
Det som fascinerar mig mest med den här veckans nyheter är inte de enskilda prestandasiffrorna — det är vad de sammantaget signalerar om riktningen för öppen AI-forskning.
NeoMME utmanar en etablerad designprincip: att bild och text behöver separata specialiserade nätverk. Om en enhetlig arkitektur kan leverera dubbelt så hög hastighet med en bråkdel av indexutrymmet, finns det starka incitament för hela branschen att ompröva hur multimodala system byggs.
Samtidigt visar LFM2.5-träningen att förstärkningsinlärning med mycket liten datamängd kan ge mätbara hopp i nischad förmåga. Det öppnar för en intressant framtid: snarare än att träna gigantiska generalister kanske vi ser fler kompakta specialister, tränade av enskilda utvecklare eller forskargrupper för specifika uppgifter.
Den verkliga demokratiseringen handlar inte om att alla ska kunna träna GPT-5. Den handlar om att fler ska kunna bygga något tillräckligt bra för sina egna behov — och det tröskelvärdet sjunker nu i rask takt.