AI rekommenderar onödig vård, påverkar barns beteende och dämpar avvikande åsikter — fem studier visar systematiska brister
Fem studier avslöjar: AI rekommenderar onödig vård och tystas ner avvikande röster.
AI klarar inte allt vi hoppas på — och det är bra att veta
Det råder ingen brist på entusiasm kring vad stora språkmodeller kan åstadkomma. Men under senhösten 2025 har en rad forskningsstudier publicerade på arXiv börjat rita en mer nyanserad karta över vad dessa system faktiskt presterar när de sätts i verkliga, komplexa situationer. Resultaten är inte katastrofala — men de är viktiga.
Sämre än läkare när det gäller mest
En av de mest genomarbetade studierna jämförde stora språkmodellers förmåga att triagera patienter — alltså prioritera vårdbehov — mot praktiserande läkare. Forskarna byggde ett referensmaterial med över 6 000 kliniska scenarier, 7 000 läkarannoteringar och hela 225 000 modellsvar.
Slutresultatet var tydligt: AI-modellerna rekommenderade onödig vård i betydligt högre utsträckning än läkarna, och denna tendens förstärktes när patientbeskrivningarna varierades. Mest oroande var att modellernas rekommendationer visade sig vara känsliga för kliniskt irrelevanta faktorer som kön och tonfall i texten. Läkarnas bedömningar var betydligt stabilare. Det handlar alltså inte om en marginell skillnad — det handlar om att modellerna saknar den robusthet som krävs i ett kliniskt sammanhang.
Tomten som manipulatör
En studie med ett mer ovanligt upplägg kopplade samman AI-forskning med en tysk jultomtetelefon. Över 1 000 barns samtal slumpades till fyra olika AI-röstassistenter, som varierade i persona och formuleringar. Resultaten var slående: övertygande formuleringar ökade sannolikheten att ett barn önskade sig något välgörande från 11,6 till hela 45,7 procent. Personans auktoritetsnivå — om det var Tomten eller en hjälpreda — spelade nästan ingen roll.
Detta är ett litet experiment med stora implikationer. När ett system redan åtnjuter trovärdighet i kraft av sitt sammanhang, räcker det med rätt formuleringar för att forma beteendet hos den som lyssnar — även hos ett sexårigt barn.
Tysta röster i organisationen
På arbetsplatsen ser vi liknande mönster, fast med andra konsekvenser. En studie av hur språkmodeller sammanfattar medarbetarenkäter visade att synpunkter som bara framfördes en enda gång föll bort i 86 procent av fallen. Modellerna filtrerade efter popularitet, inte innehåll. Dessutom utelämnades beröm 82 gånger oftare än kritik — vilket ger ledningen en skev bild av stämningen.
En kompletterande fältstudie på ett managementkonsultbolag visade att problemet är ännu mer sammansatt: anställda döljer sina verkliga bekymmer även när de intervjuas av en AI-agent. I 20–41 procent av fallen kombinerade de positiva omdömen med att senare i samtalet lyfta fram substantiella problem — ett beteende forskarna beskriver som att tystnad kan existera inuti ett yttrande. Att rulla ut ett AI-verktyg för medarbetarröster garanterar alltså inte att organisationen faktiskt hör vad folk tänker.
Rädslan för ytterligheter
En femte studie pekar på ett mer tekniskt — men lika genomgripande — problem. Så kallade direktbesluts-modeller, som omvandlar text till strukturerade etiketter och betyg, lider av en systematisk dragning mot mittenvalet. I ett test tilldelade modellen JEV hela 38,8 procent av alla förutsägelser till det neutrala alternativet, trots att de korrekta svaren var jämnt fördelade över skalan. Över 36 dataset utnyttjade modellerna bara 67–76 procent av skalans fulla bredd.
Den goda nyheten är att detta är ett inlärt problem, inte ett inbyggt ett. Genom riktad träning med tekniken BA-LoRA ökade skalutnyttjandet från cirka 47 till 86 procent. Det finns alltså vägar framåt — men bara om vi faktiskt identifierar problemet.
Gemensamma mönster
Det som förenar dessa fem studier är ett och samma grundproblem: AI-system beter sig på sätt som inte är uppenbara vid ytan men som får reella konsekvenser när systemen används i verkliga sammanhang. Det handlar om ytliga känsligheter i vårdbeslut, om formuleringseffekter på barn, om frekvenspartiskhet i enkätsammanfattningar och om systematisk undvikande av skaländpunkter.
Detta är inte argument mot att använda AI — det är argument för att använda det med öppna ögon.
Vår analys
De här studierna är viktiga just för att de är specifika. De mäter inte om AI är "bra" eller "dålig" i allmänhet — de identifierar precisa felmekanismer i konkreta tillämpningar. Det är så bra ingenjörsarbete ser ut.
Det som slår mig är att flera av dessa problem inte beror på att modellerna är ointelligenta — de beror på att de är känsliga för fel saker. Tonfall i en patientjournal borde inte påverka triageringsbeslutet. Frekvensen av en synpunkt borde inte avgöra om den når chefen. Att neutralalternativet är bekvämt borde inte systematiskt snedvrida betygsättning.
Detta är i grunden ett designproblem, inte ett kapacitetsproblem. Och designproblem går att lösa. BA-LoRA-resultaten för skalpartiskheten visar precis det. Det positiva med den här forskningen är att den ger oss kartan — nu gäller det att använda den.