Allen Institute öppnar träningsplattform för jättestora AI-modeller – till lägre beräkningskostnad
Allen Institute öppnar träningsplattform som gör jättemodeller tillgängliga för alla.
Infrastrukturklyftan har länge varit AI-forskningens största hinder
Det finns en detalj som sällan syns i rubrikerna när OpenAI, Google eller Meta presenterar sina senaste modeller: infrastrukturen bakom. Att träna en modern toppmodell kräver inte bara tillgång till tusentals grafikprocessorer – det kräver mjukvara som är optimerad ner till hårdvarunivå, byggd av team med djup specialistkompetens och finansierad av budgetar som de flesta universitet aldrig ens drömmer om.
Det är den klyftan som Allen Institute for AI nu siktar på att minska. Enligt Hugging Face-bloggen har institutet släppt OLMo-core 3, en från grunden omarbetad och fullt öppen träningsplattform för nästa generations språkmodeller. Det centrala tillskottet är stöd för så kallade mixture-of-experts-modeller – en arkitektur som förändrar spelplanen för hur man bygger modeller med extremt många parametrar.
Smarta nätverk som inte aktiveras i onödan
För att förstå varför det här är tekniskt intressant behöver man kort förstå vad mixture-of-experts faktiskt innebär. En traditionell tät modell aktiverar hela sitt nätverk för varje liten textenhet den bearbetar – oavsett om uppgiften kräver det eller inte. En mixture-of-experts-modell gör tvärtom: den väljer dynamiskt ut ett fåtal specialiserade delar av nätverket, så kallade experter, som är relevanta för just den aktuella beräkningen.
Resultatet är att man kan stoppa in betydligt fler parametrar i modellen utan att beräkningskostnaden ökar i samma takt. Det är elegant ingenjörskonst – men det är också ett problem som skalas dåligt. Ju fler experter, desto mer data måste skickas runt mellan grafikprocessorer i ett kluster, och den kommunikationskostnaden kan snabbt äta upp hela fördelen.
OLMo-core 3 är byggt för att lösa precis det problemet.
Nästan tre gånger högre genomströmning – trots tio gånger fler parametrar
Siffrorna från Hugging Face-bloggen är talande. I ett jämförelsetest ökades antalet tillgängliga experter från 8 till 128, medan antalet aktiverade experter per beräkningssteg hölls konstant på fyra. Det totala antalet parametrar i modellen växte från 4,6 miljarder till 47 miljarder – alltså tio gånger fler parametrar – och ändå sjönk inte genomströmningen proportionellt. Tvärtom förbättrades plattformens effektivitet markant tack vare den nya arkitekturen.
Det är den typen av prestandaresultat som brukar hålla sig innanför storbologens laboratorier. Att det nu publiceras öppet, med reproducerbar kod, är i sig en nyhet.
Demokratisering är inte bara ett modeord här
Jag har följt den öppna AI-rörelsen länge, och en återkommande frustration är att "öppen källkod" ofta betyder att modellvikter publiceras – men inte metoderna, träningskoden eller infrastrukturen som faktiskt behövs för att upprepa resultaten. OLMo-projektet har från start haft en annan ambition: att hela kedjan ska vara tillgänglig.
OLMo-core 3 fortsätter på den linjen. Det handlar inte om att dela ett färdigt resultat, utan om att ge bort det som faktiskt är svårt att bygga: en stabil, skalbar träningsplattform som klarar de utmaningar som uppstår när modellerna växer till biljoners storleksordning.
För en akademisk forskargrupp eller ett mellanstort teknikbolag som vill experimentera med nästa generations modellarkitekturer är det här skillnaden mellan möjligt och omöjligt. Och för det bredare AI-ekosystemet innebär det att fler aktörer kan bidra till kunskapsutvecklingen – inte bara konsumera den.
Det är inte ett litet steg.
Vår analys
OLMo-core 3 är ett konkret svar på en strukturell ojämlikhet i AI-branschen: att de tekniska framstegen koncentrerats till ett fåtal aktörer som har råd att bygga och behålla den nödvändiga infrastrukturen. Att Allen Institute nu öppnar en plattform som klarar biljoners parameterklassen förskjuter den gränsen.
På kort sikt är det viktigaste bidraget reproducerbarhet – att forskarvärlden nu kan verifiera, utmana och bygga vidare på mixture-of-experts-arkitekturer utan att börja från noll. På längre sikt kan det accelerera en trend där den tekniska tyngdpunkten sprids bredare: fler laboratorier, fler länder, fler perspektiv.
Utmaningarna är fortfarande reella – beräkningskostnader försvinner inte bara för att mjukvaran är öppen, och tillgång till tusentals grafikprocessorer är fortfarande utom räckhåll för de flesta. Men varje lager av infrastruktur som öppnas är ett lager som inte längre är ett hinder. Det är en riktning värd att följa noga.