Dina gamla spelsessioner kan bli nyckeln till framtidens robotar

Spelkontrollen som nyckel till den fysiska världen

Det finns ett fundamentalt problem med dagens AI som sällan diskuteras öppet i affärspressen: de stora språkmodellerna är blinda för verkligheten. De är tränade på text — oändliga mängder text — men saknar varje grundläggande förståelse för hur fysiska objekt rör sig, väger eller samspelar med varandra. Det gör dem i praktiken oanvändbara för precisionskrävande tillämpningar som robotstyrning, autonoma fordon eller industriell automation.

Det är ett problem som forskare länge vetat om men haft svårt att lösa. Och skälet är enkelt: rätt sorts träningsdata finns knappt på internet.

Enter Worldmodeldata.

Enligt Wired har det brittiska teknikbolaget identifierat en oväntat rik källa till just den typ av data som saknas: videospel. Varje spelsession genererar nämligen en kontinuerlig ström av visuell information — vad spelaren ser på skärmen — i direkt kombination med rörelsedata, det vill säga varje knapptryckning och styrsignal. Det är exakt den typ av visuell-motorisk koppling som så kallade världsmodeller behöver för att lära sig orsak och verkan i den fysiska världen.

Worldmodeldata har tecknat licensavtal med spelstudior och uppger sig hittills ha samlat in nästan en miljon timmars speldata. Vilka studior som deltar vill bolaget inte avslöja — men volymen i sig är imponerande.

Tungviktare i rådgivarstolen

Det som verkligen sätter ljuset på den här satsningen är namnen bakom den. Forskare av kaliber som Fei-Fei Li — arkitekten bakom ImageNet, den databas som en gång utlöste djupinlärningens genombrott — och Yann LeCun, Metas chefsforskare och en av AI-vetenskapens absoluta giganter, fungerar som rådgivare till bolaget. Det är inte vilka namn som helst att ha i sin rådgivarstyrelse.

Deras engagemang signalerar att världsmodeller inte är en marginalidé — det är en central och brådskande forskningsfråga. LeCun har under lång tid argumenterat för att dagens språkmodellsbaserade AI har nått ett teoretiskt tak, och att nästa steg kräver modeller som förstår världen på ett mer grundläggande plan.

En kreativ lösning på ett strukturellt problem

Xiatian Zhu, docent i artificiell intelligens vid University of Surrey, sätter fingret på kärnan i utmaningen när han konstaterar att det på internet finns väldigt lite data av den typen — det vill säga kombinerad visuell och motorisk information. Det är ett strukturellt vakuum i träningsdatavärlden.

Worldmodeldata fyller det vakuumet med en lösning som är lika elegant som den är oväntad. Speldata är inte perfekt — den speglar digitala miljöer, inte fysiska — men det är ett enormt steg framåt jämfört med att försöka samla in motsvarande data i verkligheten. Att montera sensorer på robotar och filma miljoner timmars verkliga rörelser är dyrt, tidskrävande och svårskalat. Speldata finns redan. I massiva mängder.

Det påminner mig om hur ImageNet i sin tid löste ett liknande problem: inte genom att uppfinna ny teknik, utan genom att systematiskt samla in och strukturera data som redan existerade. Effekten var revolutionerande.

Vad händer härnäst?

Den naturliga följdfrågan är förstås hur väl simulerade spelvärldar faktiskt kan lära en AI att hantera den röriga, oförutsägbara verkligheten. Det är en legitim invändning. Övergången från digital träning till fysisk tillämpning — vad forskare kallar sim-to-real-problemet — är välkänd och komplex.

Men riktningen är tydlig. Och i en bransch där tillgången på rätt träningsdata ofta är den avgörande flaskhalsen, är förmågan att identifiera och licensiera outnyttjade datakällor en strategisk konkurrensfördel av första rang. Worldmodeldata har hittat en guldgruva i en oväntat plats — i miljontals timmars spelande som annars aldrig skulle ha tjänat något större syfte.