Ny AI-modell tränas på förstapersonsvideo – ska ge robotar bättre förståelse för omvärlden

Miljarder timmar av kunskap som maskiner aldrig fått tillgång till

Tänk på allt du vet om att utföra fysiskt arbete. Hur du instinktivt justerar greppet när något håller på att glida ur handen. Hur du läser av en situation och anpassar dig på bråkdelen av en sekund. Hur du navigerar ett rörigt kök, ett hektiskt fabriksgolv eller en trång byggarbetsplats med en naturlighet som tar år att bygga upp.

Ingen av den kunskapen finns i en databas. Ingen har dokumenterat den på ett sätt som en maskin kan träna på. Det är precis det problem som TwelveLabs nu tar sig an med Pegasus 1.6, rapporterar The Robot Report.

– De flesta av de saker människor vet om att utföra fysiskt arbete har aldrig fångats i en form som en maskin kan träna på, säger Jae Lee, medgrundare och vd för TwelveLabs.

Det är en enkel insikt, men konsekvenserna är enorma.

Förstapersonsperspektivet – nyckeln till verklig situationsförståelse

Det som skiljer Pegasus 1.6 från tidigare modeller för bildtolkning är fokuset på förstapersonsvideo – alltså material inspelat ur operatörens eller utförarens synvinkel, inte från ett övervakningskameratorn eller en fågelperspektivsdrönarvy. Det är en subtil men avgörande skillnad.

När en robot ska lära sig laga mat, montera komponenter eller navigera en miljö med hinder, behöver den inte se sig själv uppifrån. Den behöver se världen som den faktiskt ser ut från den egna kroppen. Det är exakt det Pegasus 1.6 är tränad för.

Modellen analyserar videomaterial från kockar, montagearbetare, fjärrstyrda robotoperatörer och andra yrkesutövare – och extraherar sedan strukturerad information om rörelsemönster, rumsliga samband och handlingssekvenser. Avgörande nog är modellen hårdvaruoberoende; det spelar ingen roll vilken kamera som används.

Fem arbetsflöden som förändrar hur robotikteam jobbar

Pegasus 1.6 levererar inte bara rådata – den erbjuder fem specialiserade arbetsflöden som gör informationen direkt användbar för ingenjörer och robotikutvecklare. Bland dem finns automatisk segmentering och tidsstämpling av handlingar, samt generering av detaljerade språkliga beskrivningar av vad som händer i videon – vilka rörelser som utförs, i vilken ordning och i vilket rumsligt sammanhang.

Det är den typen av strukturerad data som krävs för att träna moderna språkstyrda robotsystem. Utan den sitter robotikteam och kodar manuellt, timme efter timme. Med Pegasus 1.6 kan de istället ladda upp timmar av verklig arbetsvideofilm och låta modellen göra det tunga tolkningsarbetet.

Vad detta betyder för den autonoma tekniken

Branschen för autonoma fordon och industrirobotar har länge brottats med samma grundproblem: det är svårt att förbereda en maskin för den kaotiska, oförutsägbara verkliga världen. Simuleringar hjälper, men de missar de tusen små detaljer som gör att ett riktigt kök eller en riktig fabrik skiljer sig från en digital tvilling.

Förstapersonsvideo från verkliga miljöer är det närmaste vi kommer ett autentiskt träningsunderlag – och Pegasus 1.6 är byggt för att omvandla det materialet till något maskiner faktiskt kan lära sig av. Det är ett konkret steg mot det som branschen brukar kalla fysisk AI – system som inte bara resonerar i text eller bilder, utan som förstår och kan agera i den tredimensionella världen.

Jag har följt robotik- och AI-branschen tillräckligt länge för att veta att det finns många lovande tekniker som aldrig når skalbarhet. Men den här insatsen känns annorlunda. Den adresserar ett verkligt flaskhals-problem – bristen på strukturerad träningsdata från den fysiska världen – med en lösning som är praktisk, hårdvaruoberoende och direkt integrерbar i befintliga arbetsflöden. Det är affärsmässig tänkande möter teknisk elegans.