AI missar de svåraste patienterna – och vi märker det inte
AI sviker systematiskt de sjukaste patienterna – utan att vi ens märker det.
När siffrorna ljuger
Det är lätt att bli imponerad av AI-forskningen just nu. Nya arkitekturer tränar modeller 33 procent snabbare, självkörande bilsystem får fyrfaldig prestandaökning, och vädermodeller slår ECMWF:s toppmodell i över 85 procent av prognostillfällena. Listan på tekniska framsteg är lång och verklig.
Men en handfull studier i veckans utbud av arXiv-papper ger anledning till en mer eftertänksam ton.
Ta fyndet kring AI-prognos efter hjärtstopp. Ett forskarteam studerade 2 497 patienter och identifierade ett grundläggande metodproblem: när läkare fattar behandlingsbeslut baserade på sin kliniska bedömning försvinner möjligheten att utvärdera vad som hade hänt utan den behandlingen. Hela 1 429 patienter hade sådana obestämbara utfall. Det alarmerande är inte bara att utfallen saknas – utan att modeller med liknande övergripande träffsäkerhet kan skilja sig dramatiskt i hur de hanterar just dessa osäkra fall. Traditionella utvärderingsmått döljer skillnaden helt. Med andra ord: vi kan mäta att en AI-modell verkar fungera bra, och ändå missa att den systematiskt misslyckas med de patienter där prognosstöd är som mest angeläget.
Felet som smög sig in i matematiken
En annan studie som borde väcka uppmärksamhet granskar ett matematiskt bevis i OpenAI:s rapport Ten Advances in Mathematics and Theoretical Computer Science. Forskarna identifierade ett polaritetsfel i ett hjälplemma i kapitel 6, rörande ett parallellrepetitionsteorem för kvantspel. Kort sagt: beviset blandar ihop sannolikheten att lyckas med sannolikheten att misslyckas, vilket bryter hela resonemanget i vissa fall. Forskarna presenterar ett rättat bevis och bekräftar att felet inte påverkar lemmats slutsats – men poängen är ändå skarp: AI-genererade matematiska argument kan innehålla subtila men avgörande fel som ytligt sett ser logiskt sammanhängande ut. Det är ett problem som är svårt att avfärda.
Nödhjälp som inte fungerar lika för alla
En tredje studie undersökte hur moderna multimodala AI-system hanterar nödkommunikation för personer med särskilda behov – hörselskadade, gravida, äldre med demens. Resultaten är oroväckande: ingen av de testade toppmodellerna levererade tillförlitligt konsekventa svar oavsett om frågan ställdes via text eller tal. Värst drabbade var de redan sårbara grupperna, där skillnaderna mellan text- och ljudbaserade svar var störst. Det skapar vad forskarna kallar en modalitetsberoende ojämlikhet – ett system som fungerar för den som skriver men sviker den som talar.
Mönstret bakom bristerna
Dessa tre fynd handlar inte om att AI är värdelöst – de handlar om att vi utvärderar det fel. Studien om AI-routrar – system som automatiskt väljer vilken modell som ska hantera en given uppgift – visade att tre av fyra routrar i praktiken alltid väljer samma modellnivå, oavsett uppgiftens art. En enkel fast baslinje matchade den mer sofistikerade routern på tre av fyra riktmärken. Liknande fynd återkommer i studien om AI-kodningsbenchmarks, där rapporterade framgångsgrader på 96–98 procent i verkligheten visade sig motsvara 0–12 procents faktisk problemlösning – resultatet av ett systematiskt mätfel i branschen.
Vad alla dessa studier har gemensamt är att problemet inte sitter i modellerna utan i hur vi mäter och utvärderar dem. Vi har byggt sofistikerade system och sedan utvärderat dem med trubbiga verktyg som ger oss den bekräftelse vi söker.
Det finns ljuspunkter. Studien om juridisk AI-tolkning visar att ett system med rätt kalibrering kan automathantera 96,8 procent av fallen med hög träffsäkerhet och flagga osäkra fall för mänsklig granskning – ett klokt, ödmjukt sätt att använda tekniken. Och forskarteamet bakom ramverket för klinisk AI-styrning erbjuder ett konkret mognadssystem som skiljer vad ett system kan beräkna från vad som faktiskt är granskningsbart och styrbart.
Det är den riktningen vi behöver röra oss mot: inte mer imponerande siffror, utan ärligare mätmetoder.
Vår analys
Vad den här veckan egentligen visar är en mognadskonflikt inom AI-fältet. Den tekniska utvecklingen rusar framåt – och det är genuint spännande – men utvärderingsinfrastrukturen halkar efter. Vi mäter genomsnittlig träffsäkerhet när vi borde mäta konsistens i kantfall. Vi rapporterar pass-rates som visar sig vara uppblåsta med nästan en faktor tio. Vi bygger nödhjälpssystem som beter sig olika beroende på om du råkar skriva eller tala.
Jag är genuint positiv till vad AI kan åstadkomma inom vård, klimat och vetenskap – men den optimismen måste vara välgrundad. Det goda nyheterna är att forskarna själva nu identifierar och publicerar dessa brister öppet. Det är precis vad ett sunt vetenskapligt ekosystem ska göra. Nästa steg är att beslutsfattare, upphandlare och kliniker faktiskt läser dessa studier innan de driftsätter systemen. Tillit måste förtjänas – även av AI.