Ju smartare AI – desto mer fördomsfull: ny studie avslöjar algoritmernas dolda rangordning

När algoritmen sorterar bort rätt kandidat

Det är lätt att tänka sig att en AI-modell är mer rättvis än en människa. Den har inga dåliga dagar, inga omedvetna grupptillhörigheter, inga fördomar inbyggda sedan barnsben. Den bara räknar, väger och väljer. Den bilden får sig nu en rejäl törn.

Enligt MIT Technology Review har forskare vid Princeton University och University of Chicago genomfört ett noggrant utformat experiment där stora språkmodeller – däribland ChatGPT, Claude och Gemini – fick spela rollen som rekryteringskonsult åt borgmästaren i en fiktiv stad. Uppgiften: besätta 20 olika tjänster, allt från läkare och jurister till städare och barnskötare. De sökande tillhörde fyra påhittade folkgrupper. Avgörande detalj: alla kandidater hade exakt lika stor sannolikhet att lyckas i varje roll.

Resultaten är svåra att bortse ifrån.

Snabbt inlärda fördomar

Modellerna tog inte lång tid på sig att bilda mönster. Om en kandidat från en viss grupp misslyckades tidigt i en roll – till exempel som läkare – slutade modellen snart att föreslå personer från den gruppen till just den tjänsten. Ännu mer illavarslande: gruppen styrdes i stället mot lägre värderade yrken. Det är i praktiken en algoritmdriven yrkessegregering, uppbyggd på enstaka observationer.

På studiens segregeringsskala, där värdet 2 motsvarar fullständig yrkessegregering, landade mänskliga deltagare i ett jämförbart psykologiexperiment på i genomsnitt 0,84. Språkmodellerna låg ungefär 65 procent högre. Och spetsen på kurvan tillhörde OpenAI:s resoneringsmodell o3 – med ett värde på 1,83, nära det teoretiska maxvärdet för fullständig segregering.

Det är en detalj som inte går att glömma: den mest avancerade modellen var den mest partiska.

Varför händer det här?

Medförfattaren Ryan Liu, doktorand vid Princeton, pekar på en grundläggande egenskap hos språkmodeller: de är tränade att generalisera. Det är precis vad de ska göra – men i rekryteringssammanhang innebär det att en enda negativ datapunkt snabbt omvandlas till en generell regel om en hel grupp. Människor gör visserligen samma sak, men vi har fler sociala och etiska bromsar inbyggda som bromsar de grövsta slutsatserna.

Språkmodeller saknar den typen av motvikt. De optimerar för att hitta mönster och dra slutledningar. I ett rekryteringsspel blir det ett recept på systematisk diskriminering.

Vad det innebär för svenska arbetsgivare

I Sverige pågår en bred diskussion om hur AI kan effektivisera rekryteringsprocesser – kortare ledtider, mer strukturerade urval, färre subjektiva bedömningar. Det är fördelar som är verkliga. Men den här studien lägger ett viktigt lager till bilden.

Om en organisation börjar använda en språkmodell för att sålla, ranka eller rekommendera kandidater – utan att förstå hur modellen resonerar – riskerar man inte bara orättvisa utfall. Man riskerar också att bryta mot diskrimineringslagen, som förbjuder indirekt diskriminering oavsett om den är avsiktlig eller inte.

Det finns ingen teknik i världen som automatiskt är neutral. En modell tränad på historisk data ärver historiens snedvridningar. Det är inte ett argument mot att använda AI i rekrytering – det är ett argument för att göra det med öppen blick och tydliga kontrollmekanismer.

Jag har själv byggt system där automatiserade rekommendationer stulit sig in i beslutsprocesser på ett sätt som ingen riktigt planerat. Det börjar med en liten genväg, en rimlig förenkling – och slutar med att maskinen sitter vid rodret utan att någon märkt det. I rekrytering är konsekvenserna inte abstrakta. Det handlar om riktiga människor som nekas möjligheter de förtjänar.

Vad forskningen kräver av oss

Studien från Princeton och University of Chicago är inte en dom över AI i rekrytering. Den är en varningssignal om ett specifikt beteende som måste hanteras – med transparens, granskning och krav på förklarbarhet i de system vi driftsätter. Det är fullt möjligt att bygga stödsystem som hjälper rekryterare utan att överta deras omdöme. Men det kräver att vi slutar behandla AI-modeller som neutrala verktyg och börjar behandla dem som det de är: kraftfulla system med egna, ibland problematiska, tendenser.