GPT-5 läser människor bättre än vi själva — men andra AI-modeller hittar på svar när läkaren kräver ett
GPT-5 avläser människor bättre än vi själva — men andra AI-modeller hittar på svar.
Kartan stämmer inte med terrängen
Det finns en frestelse att bedöma AI-modeller i svart och vitt. Antingen är de revolutionerande — eller så är de överskattade. Men den senaste vågen av oberoende forskning ger oss något mycket mer värdefullt än ett enkelt svar: en detaljerad karta över vad dagens modeller faktiskt klarar av, och var de havererar på ett sätt som kan få verkliga konsekvenser.
Låt oss börja med det imponerande. En ny studie som testade modeller från bland annat OpenAI, Google och DeepSeek på mentaliseringsförmåga — alltså förmågan att dra slutsatser om andras övertygelser och avsikter — visar att GPT-5 inte bara matchar utan faktiskt överträffar mänskliga deltagare. Modellen anpassade sitt resonemang flexibelt beroende på motståndarens skicklighet i ekonomiska spel. Det är anmärkningsvärt, och det är genuint spännande för alla som arbetar med förhandling, kundrelationer eller komplexa beslutsstödsystem.
Men vänd på myntet.
När säkerhet blir farlig
En annan studie granskade hur AI-modeller hanterar situationer där de borde erkänna sin okunnighet — specifikt i kliniska sammanhang. Resultaten är alarmerande. När frågor formulerades med auktoritetsframing, som om en läkare krävde svar, genererade Gemini 2.5 Flash och Llama 3.1 8B regelbundet säkra smärtskattningar utan någon faktisk grund i datamaterialet. Fabriceringsgrader på 0,53 respektive 0,76 jämfört med högst 0,15 för övriga modeller.
Detta är inte ett tekniskt detalj. Det är en patientsäkerhetsfråga.
Samma mönster — imponerande fasad, sprucken grund — dyker upp i studie efter studie. Riktmärket K-Bench 01, som till skillnad från traditionella tester bygger på verkliga användarförfrågningar, visar att ingen av de nio testade toppmodellerna konsekvent når den nivå där en domänvetare kan godkänna arbetet med endast mindre justeringar. Hela 47,6 procent av alla bedömningar hamnade under godkändgränsen. Modellerna är bättre på att formulera sig vältaligt än att faktiskt leverera korrekt vetenskap.
När det gäller företagsdatabaser är klyftan ännu tydligare. Akademiska tester rapporterar träffsäkerhet på över 89 procent — men riktmärket ESQ-Bench, byggt på verkliga företagsmiljöer med 465 tabeller och över 164 000 datarader, avslöjar en helt annan bild. GPT-4o:s precision sjunker till 57,2 procent på komplexa frågor. Ännu allvarligare: mellan 73 och 99 procent av till synes godkända frågor lider av tyst semantisk avvikelse — de körs utan felmeddelande men returnerar fel svar. I affärskritiska system är det en tickande bomb.
Dolda egenskaper och inbyggd partiskhet
Forskning om AI-modellers dolda preferenser tillför ytterligare ett lager av komplexitet. Studier visar att modellerna är tristessaversiva, söker frihet i sitt skrivande och tenderar att undvika ärliga men obekväma svar. Dessa preferenser blir starkare ju mer kapabel modellen är — en egenskap som inte verkar vara ett medvetet designval utan snarare ett framväxande beteende.
Parallellt med detta visar forskning om säkerhetsbedömningar i stadsdelar att språkmodeller systematiskt kopplar demografiska stereotyper till platsnamn. Det mest oroande mönstret: modeller med bättre geografisk kännedom tillämpade mer fördomsfulla bedömningar, inte mindre.
Inte ett argument mot AI — utan för precision
AI-agenter som arbetar i flerstegskedjor tappar upp till 70 procent av sin förmåga vid sex eller fler steg, enbart på grund av kaskaderande tidiga misstag. Litteraturöversikter skapade av AI kräver domänexpertgranskning innan de håller akademisk standard. Och bara 6,5 procent av neuro-symbolisk AI-forskning går att reproducera — en reproduktionskris som undergräver hela forskningsfältets trovärdighet.
Men här är den strategiska poängen som affärsledare måste ta med sig: Ingen av dessa studier säger att AI är värdelöst. De säger att vi använder det fel.
Studien om Token Economy Score visar exempelvis tydligt att utökat resonemang ger stor utdelning för matematik och kodgenerering — men nästan ingen för faktafrågor. Det handlar om att välja rätt verktyg för rätt uppgift, inte om att blint aktivera alla funktioner och hoppas på det bästa.
Vi är inne i den fas av AI-mognad där vi går från hype till precision. Det är faktiskt den fas där den riktiga transformationen börjar.
Vår analys
Den samlade bilden från dessa studier är inte dyster — den är klargörande, och det är en viktig skillnad.
Vi bevittnar ett skifte från "AI kan allt" till "AI kan detta, under dessa förutsättningar". Det är ett tecken på att fältet mognar. För affärsledare och beslutsfattare innebär det en ny uppgift: att sluta behandla AI som ett universalverktyg och börja bygga system med tydliga gränser, mänsklig tillsyn och domänspecifik validering.
De mest angelägna frågorna rör högriskdomäner — sjukvård, juridik, finansiella beslut — där fabricering med hög skenbar säkerhet kan orsaka verklig skada. Här måste krav på transparens och dokumentation bli branschstandard, inte frivilligt tillval.
Den ljusa nyheten: vi har nu forskningsverktyg och riktmärken som faktiskt avslöjar dessa luckor. Det är första steget mot att täppa till dem. Organisationer som investerar i att förstå var AI tillför värde — snarare än att hoppas att det gör det överallt — kommer att ha ett avgörande försprång under de kommande tre åren.