Elva hemdatorer kör en av världens mäktigaste AI-modeller – utan ett enda datacenter

När elva hemdatorer slår ett datacenter

Det finns en föreställning om att riktigt kraftfull AI kräver enorma serverhallar, specialtillverkade kretsar och elkostnader som får en att svimma. Den föreställningen fick sig en rejäl törn nyligen.

Ett forskarlag har presenterat Cascadia, ett system som kör AI-modellen Inkling – med hela 975 miljarder parametrar – fördelad över elva vanliga Intel Core Ultra-datorer med 64 GB minne vardera, sammankopplade via ett gigabitnätverk. Enligt forskningsrapporten på arXiv uppnår systemet nästan 60 genererade texttecken per sekund vid hög belastning, och klarar sammanhang på upp till 512 000 positioner per dataström.

Det låter tekniskt, och det är det. Men vad det betyder i praktiken är enklare att greppa: datorer som du eller jag skulle kunna köpa på en elektronikkedja kan tillsammans köra en av de mest avancerade AI-modeller som finns.

Nyckeln är arkitekturen. Inkling använder en så kallad mixture-of-experts-modell, vilket innebär att bara 41 miljarder av de 975 miljarderna parametrarna aktiveras vid varje beräkningssteg. Det gör det möjligt att dela upp modellen på flera maskiner utan att prestandan kollapsar. Forskarlagets egentliga bidrag är en skräddarsydd beräkningsmotor som optimerar hur arbetet fördelas mellan datorernas grafikprocessorer och vanliga processorer – ett pussel som visat sig vara svårare än det låter.

Från serverhall till Raspberry Pi

På en helt annan skala, men med ett lika radikalt budskap, presenterar ett annat forskarlag ett modulärt AI-system riktat mot afrikanska språkgemenskaper där tal är det primära kommunikationssättet och internetuppkoppling ofta lyser med sin frånvaro.

Systemet är byggt för att fungera helt offline och har testats på två hårdvarunivåer: en NVIDIA Jetson Orin NX och en Raspberry Pi 5. Det senare är en enkortsdator som kostar ungefär en tredjedel av vad en ingångsnivå-smartphone gör. Systemet hanterar språk som hausa, igbo, nigerisk pidgin och yoruba, samt taligenkänning för amhariska och oromo – språk som länge stått i skuggan av engelskdominerade AI-system.

Resultaten är imponerande med tanke på begränsningarna. Modellen Gemma uppnådde 89,2 procents noggrannhet vid ämnesklassificering i det komprimeringsformat som visade bäst balans mellan storlek och kvalitet. Systemet täcker modeller i storleksklassen 2–5 miljarder parametrar och inkluderar en strukturerad process för komprimering och prestandamätning.

Samma idé, två världar

Det är frestande att se dessa två projekt som orelaterade – ett handlar om att köra en gigantisk modell på konsumenthårdvara, det andra om att ge röst-AI till gemenskaper utan infrastruktur. Men den gemensamma tråden är tydlig: AI-kapacitet ska inte vara beroende av tillgång till dyr, centraliserad infrastruktur.

Cascadia visar att skalbarhet kan uppnås horisontellt, genom att koppla samman vanliga maskiner snarare än att investera i allt dyrare specialiserad hårdvara. Det afrikanska offline-systemet visar att AI kan komprimeras och anpassas för att fungera i miljöer där varken bredband eller serverkapacitet finns.

Båda projekten är öppen källkod – ett val som inte är en slump. Forskarlagen vill att resultaten ska kunna reproduceras, byggas vidare på och anpassas. Det är ett tecken på mognad i fältet: genombrott är inte längre meningsfulla om de bara kan replikeras av de allra mest resursstarka aktörerna.

Som systemutvecklare ser jag en tydlig rörelse här. Den tekniska barriären för att köra AI sjunker snabbt. Det som för tre år sedan krävde ett molnkonto och en rejäl budget kan idag byggas med hårdvara som finns i en lagerlokal eller ett klassrum i Addis Abeba. Det öppnar upp för en helt annan typ av tillämpningar – lokalt styrda, anpassade för specifika gemenskaper, utan beroende av tjänsteleverantörers affärsmodeller eller uppkopplingskrav.

Den stora frågan är inte längre om det är möjligt. Den är vem som bygger det härnäst.