AI ger rätt svar av fel anledning – och ingen märker det

AI:n har rätt svar av fel anledning

Låt mig vara tydlig från start: jag tror helhjärtat på AI:s transformativa kraft. Men just därför är det viktigt att vi inte blundar för de grundläggande begränsningar som forskningen nu lyfter fram i allt skarpare relief. Den som bygger sin affärsstrategi på AI måste förstå var systemens svaga punkter finns – inte för att backa undan, utan för att navigera klokt.

Förra veckan publicerades en rad studier på arXiv som tillsammans målar upp en oroväckande bild. Den gemensamma nämnaren? Att AI-modeller kan prestera imponerande på ytan medan de i grunden har lärt sig fel saker.

Ta till exempel studien om neurala nätverk i fysikaliska beräkningar. Forskarna testade flera olika nätverksarkitekturer – faltningsnätverk, grafnätverk och Transformer-modeller – på att rekonstruera dolda mönster i statistisk fysik. Resultatet var häpnadsväckande: trots hög träffsäkerhet på träningsdata hade inget av nätverken lärt sig de faktiska fysikaliska lagarna. Istället hade varje arkitektur utvecklat sin egna statistiska genväg. Transformer-modeller låste sig vid länktätheten från träningsdatan; faltningsnätverk kollapsade mot glesa förutsägelser för att minimera fel. Rätt svar, fel resonemang – och det är just det som gör det farligt.

Hallucinationen sitter djupare än vi trodde

Detta är inte ett isolerat fenomen. En annan studie introducerar begreppet VAORA – ett nytt belöningssystem som specifikt försöker angripa problemet att stora modellers resonemang inte stämmer överens med deras faktiska handlingar. Att det behövs ett sådant system berättar egentligen allt: vi har byggt modeller som kan producera övertygande förklaringar som är fristående från vad de faktiskt gör.

På ett mer filosofiskt plan försöker ett nytt teoretiskt ramverk kallat Statistically Meaningful Geometry (SMG) besvara frågan om AI verkligen tänker eller bara mönstermatchar. Ramverket hävdar att äkta ny kunskap skapar en mätbar geometrisk förändring i modellens inre representationer – en slags fas-övergång – medan hallucination saknar denna signatur. Om SMG håller vid granskning kan det bli ett banbrytande verktyg för att certifiera om ett AI-system faktiskt genererar ny insikt eller bara interpolerar.

Problemen följer med ut i verkligheten

Det stannar inte vid abstrakta laboratorieexperiment. Studien bakom riktmärket PolyWorkBench visar att även de mest avancerade AI-agenterna presterar märkbart sämre när de arbetar i flerspråkiga miljöer – något som är vardagsverklighet för svenska och nordiska företag. Flerspråkighet skapar en kedjereaktion av fel genom hela resonemangskedjan, vilket är direkt relevant för alla som integrerar AI-agenter i internationella arbetsflöden.

Noch mer alarmerande är fynden från medicinsk AI. En genomgång av nio EKG-grundmodeller visar att dessa, trots att de tränats på enorma mängder fysiologisk data, inte presterar bättre än traditionella metoder vid diagnos av det ovanliga men livshotande Brugadas syndrom. Tvärtom närmade sig båda metoderna slumpmässiga gissningar när modellerna testades på data från andra sjukhus. Slutsatsen är skarp: förträning ger stabilitet i träningsprocessen, inte kliniskt överförbar medicinsk kunskap. Grundmodeller är inte universallösningar – och i sjukvården kostar den missuppfattningen liv.

Världsmodellen – nyckeln till nästa steg

Mitt i allt detta finns ett ljus i tunneln. Forskarvärlden börjar nu på allvar tackla grundfrågan: hur bygger vi AI som faktiskt förstår världen, snarare än att enbart känna igen mönster i den? En ny artikel försöker etablera en vetenskaplig definition av så kallade världsmodeller – interna simulatorer som lär sig strukturen och dynamiken i en miljö. Det är ett ambitiöst steg mot AI-system med genuint orsaksbaserat tänkande, och en nödvändig pusselbit på vägen mot mer tillförlitlig artificiell intelligens.

Det är just denna riktning som gör mig optimistisk. Problemen är reella och djupa – men de är också väldefinierade. Och väldefinierade problem går att lösa.