Ny AI-modell förutsäger rörelser i 3D utifrån bild och text — kan förändra robotik och filmproduktion

Maskiner som ser framåt i tid

De flesta som jobbat med datorseende vet hur pass väl dagens system hanterar det som redan hänt — att spåra ett föremål i efterhand, klassificera en rörelse eller segmentera ut ett objekt i en bild. Det är lösta problem, i stort sett. Det svåra — och det intressanta — är att göra det omvända: att titta på en stillbild och en textbeskrivning, och sedan förutsäga exakt hur ett föremål kommer att förflytta sig i tredimensionellt rum under de kommande sekunderna.

Det är precis det Allen AI nu adresserat med MolmoMotion, som presenteras på Hugging Face-bloggen. Indata är enkelt formulerat: en videobild, ett antal markerade punkter på ett föremål i bilden, och en textbeskrivning av den tänkta rörelsen — exempelvis "Flytta och rotera treskålen med frukt på bordet". Utifrån dessa tre ingredienser förutsäger modellen var punkterna befinner sig i 3D-rymden framåt i tid.

Resultaten uppges vara väsentligt bättre än tidigare metoder inom rörelseprognoser. Det är en formulering man ska läsa med källkritiska glasögon — benchmarkvärden från ursprungsorganisationen bör alltid granskas av utomstående — men den tekniska ansatsen är genuint nyskapande.

Varför är det svårt att förutsäga rörelse?

För att förstå vad som gör detta icke-trivialt behöver man tänka igenom vad rörelseförutsägelse egentligen kräver. Modellen måste inte bara förstå geometri och djup i en 2D-bild — den måste också koppla samman en abstrakt textinstruktion med specifika fysikaliska egenskaper hos ett objekt. En fruktskål rör sig annorlunda än en vätskefylld kopp. En "rotation" ser olika ut beroende på föremålets form och tyngdpunkt.

Det som gör MolmoMotion tekniskt intressant är att den bygger på Molmo 2, Allen AI:s egna språkmodell, som grund. Det innebär att modellen redan har djup förståelse för hur ord och begrepp relaterar till varandra — och den förmågan återanvänds nu för att koppla språkliga instruktioner till punkter och rörelser i bilddata. Det är ett elegant sätt att inte uppfinna hjulet på nytt.

Konkreta tillämpningar — robotar och video

Tillämpningsområdena är väldefinierade och trovärdiga. Inom robotik är rörelseplanering ett klassiskt flaskhalsområde: en robotarm som ska gripa ett föremål måste kunna förutse hur det rör sig, inte bara reagera på det. Traditionella lösningar kräver ofta noggrann kalibrering och kontrollerade miljöer. En modell som kan generalisera från textbeskrivningar sänker tröskeln markant.

Innom AI-genererad video är behovet lika tydligt. Videogenererande modeller har länge kämpat med att hålla rörelser fysikaliskt rimliga — föremål flimrar, deformeras eller beter sig på sätt som bryter mot grundläggande mekanik. En dedikerad rörelseförståelse inbyggd i pipeline:n kan bli en viktig pusselbit för mer trovärdig syntetisk video.

Öppen forskning med massivt datamaterial

Ett av de mer anmärkningsvärda inslagen är att Allen AI inte bara släpper modellen — de publicerar också MolmoMotion-1M, den hittills största samlingen av tredimensionella rörelsebeskrivningar parade med handlingsbeskrivningar, hämtade från 1,16 miljoner videor. För forskarsamhället är det här potentiellt lika värdefullt som modellen själv.

Storleken på datamängden antyder också varför resultaten är konkurrenskraftiga: det handlar inte bara om en smart arkitektur utan om att Allen AI investerat ordentligt i träningsdata av hög kvalitet. Det är en insikt som återkommer gång på gång i maskininlärningsforskning — data är sällan den tråkiga delen, det är den avgörande delen.

Att forskningen dessutom är öppen — med publicerade vikter, datamängder och riktmärken — är positivt för hela fältet. Det ger andra forskargrupper möjlighet att reproducera, utmana och bygga vidare på resultaten.