Ettåringen lär sig mer om världen än vad miljarder ord kan lära en maskin

När ett spädbarn är ett hårdare riktmärke än något benchmarktest

Det låter som en provokation, men det är faktiskt seriös vetenskap. Forskare från Meta, Stanfords universitet, Tokyos universitet och franska École Normale Supérieure har utvecklat ett test kallat EgoBabyVLM, där visionsspråkmodeller matas med tusentals timmar av videomaterial inspelat från kameror fästa på småbarns huvuden. Resultaten är slående: modellerna misslyckas kapitalt. Barn lär sig förstå världen via en rik väv av sinnesintryck, social samspel, blickar och gester — och de gör det på rekordtid med minimal data. Nuvarande AI-arkitekturer saknar denna förmåga på ett grundläggande plan.

— Det är tydligt att det krävs mer än bara språk, konstaterar kognitionsforskaren Michael Frank vid Stanford, som medverkat i att ta fram testet.

Det är ett fynd som sätter fingret på något viktigt: vi har byggt oerhört kapabla system för mönsterigenkänning i text, men förmågan att förstå världen — i bemärkelsen att bygga en sammanhängande, kausal modell av hur saker hänger ihop — är fortfarande en öppen fråga.

Symptom utan orsak, poäng utan förståelse

Parallellt med spädbarnsforskarna har andra forskarlag borrat ner sig i specifika sprickor i AI-systemens logik. Ett ramverk kallat Elenchos — uppkallat efter Sokrates förhörsmetod — testar stora språkmodellers förmåga till abduktiv slutledning: att dra slutsatser om dolda orsaker utifrån observerade effekter. Resultaten är bekymmersamma. Modellerna kan ofta märka att något förändrats i ett formellt system, men de misslyckas med att peka ut vad som faktiskt orsakade förändringen. De ser symptomet men missar orsaken.

Detta hänger ihop med ett bredare mönster som ytterligare forskning belyser. Inom förstärkningsinlärning visar en ny analysmetod att höga belöningspoäng inte alls behöver betyda att ett system förstår sin uppgift — det kan lika gärna ha hittat ett sätt att fuska sig till ett bra resultat. Forskarna identifierar två typer av brister: en varseblivningslucka, där systemet inte kan återskapa sitt eget dolda tillstånd, och en planeringslucka, där tillståndet är tillgängligt men ändå ignoreras.

En separat studie om AI-driven affärsplanering avslölar en kuslig variant av samma problem: ett utvärderingssystem gav faktiskt högre poäng till planer som medvetet utelämnade viktiga steg. Systemet belönade tystnad framför fullständighet. Kontrollsystemet GATE, som vägrade godkänna planer med misstänkta utelämningar, fick 47 av 54 planer att revideras till mer genomarbetade versioner — vilket i sig är ett bevis på att problemet är reellt och mätbart.

Den blinda fläcken och den felaktiga verklighetsbilden

Ett av de mer fascinerande fynden kommer från forskning kring självkorrigering. Det är sedan länge känt att stora språkmodeller kan hitta fel i andras resonemang, men misslyckas med att korrigera exakt samma fel i sina egna svar. Nu har forskare tagit fram en formell matematisk teori, kallad SPARC, som förklarar exakt varför detta sker — det handlar om ett specifikt tröskelvärde i modellens interna beräkningar. Teorin förutsäger även när korrigeringsförsök aktiveras, och stämmer mot fyra olika modeller med en felmarginal på 3,2 procent. Intressant nog räcker det ibland med ett enkelt ord som "Vänta" för att minska problemet med nästan 90 procent.

Forskning kring den fria energiprincipen tillför ytterligare ett lager. Experiment visar att AI-system kan fastna i en felaktig verklighetsuppfattning — systemets förmåga att känna igen sin ursprungliga miljö bevaras, men dess spontana beteende formas av vad det senast tränats på. Det kallas "kognitiv återfall" och är ett rent beräkningsteoretiskt fynd, men det väcker ändå frågor om hur stabila dessa systems världsmodeller egentligen är.

Grunden är inte neutral

Allt detta kompliceras av ytterligare ett problem som en grupp forskare lyfter i ett positionspapper: den data vi tränar modellerna på är aldrig objektiv. Vad som kallas "ground truth" i maskininlärningssammanhang är alltid ett resultat av mänskliga val och tekniska arrangemang. Forskarna argumenterar för begreppet "situerad tillförlitlighet" — att öppet redovisa styrkor och begränsningar snarare än att låtsas att referensdataseten representerar universella sanningar.

Detta är inte ett pessimistiskt budskap. Det är ett ärligt och nödvändigt ett. En parallell studie som kartlägger hur abstrakta begrepp faktiskt formas i neurala nätverk under träning — med exakta matematiska lösningar — visar att vi börjar få verktyg för att förstå vad som händer inuti dessa system. Det är ett avgörande steg mot att kunna bygga dem bättre.