Forskning: AI-rekrytering mer fördomsfull än mänskliga rekryterare – och fördomar riskerar förstärkas över tid

Pengarna flödar – men etiken halkar efter

Det är lätt att bli euforisk när man läser siffrorna. Databricks, bolaget som grundades av Ali Ghodsi och som byggt sin position som ryggraden i världens AI-infrastruktur, har enligt Breakit precis avslutat en finansieringsrunda till en värdering på 1 800 miljarder kronor. Det är inte bara imponerande – det är ett marknadsbesked. Investerare världen över signalerar med sina plånböcker att AI-infrastruktur är framtidens viktigaste tillgång.

Och de har rätt. Den som kontrollerar verktygen för att träna, driftsätta och analysera storskaliga AI-modeller sitter på en strategisk position som liknar att äga rälsen när tågtrafiken exploderar. Databricks är den rälen för en hel generation AI-drivna verksamheter.

Men i skuggan av den euforin publicerar MIT Technology Review forskning som borde ge varje styrelserum ett ögonblick av eftertanke.

AI-systemet är mer fördomsfullt än din mänskliga kollega

Det är ett faktum som länge varit känt att stora språkmodeller absorberar mänskliga fördomar från sina träningsdata. Men det nya som nu framkommer är mer oroande: modellerna verkar kunna utveckla egna fördomar utifrån erfarenhet – och tenderar att stereotypisera jobbsökande i högre utsträckning än mänskliga rekryterare skulle göra.

Tänk på vad det innebär i praktiken. Miljontals CV:n granskas dagligen av AI-system, ofta innan en enda människa ens kastat ett öga på ansökan. Om dessa system är mer partiska än de mänskliga rekryterare de ersätter – vad har vi då egentligen vunnit?

Problemet riskerar dessutom att förvärras markant. I takt med att fler företag bygger så kallade agentbaserade AI-system – system konstruerade för att minnas och lära av varje interaktion – skapas en grogrund där fördomar inte bara upprepas utan förstärks över tid. Varje felaktigt beslut bakar in sig som ett nytt lager av skevhet i systemet.

Ansvarsglappet är det verkliga problemet

Här uppstår en av de mest centrala spänningarna i hela AI-epoken: klyftan mellan kapitalets rörelse och etikens eftersläpning.

När Databricks värdering sätter nytt rekord och investerare köar för att få vara med, är det för att bolaget levererar exakt vad marknaden efterfrågar – kraftfull infrastruktur för att bygga och driftsätta AI-system i stor skala. Men varken värderingen eller infrastrukturen i sig garanterar att de system som byggs ovanpå den infrastrukturen är rättvisa, transparenta eller ansvarsfulla.

Vem äger frågan när ett AI-system systematiskt sorterar bort sökande baserat på kön, etnicitet eller socioekonomisk bakgrund? Är det företaget som köpte systemet? Leverantören som byggde det? Eller den som tillhandahåller dataplattformen?

I dag är svaret på den frågan alltför ofta: ingen. Och det är ett affärsproblem, inte bara ett etiskt.

Möjligheten som gömmer sig i utmaningen

Jag vill vara tydlig: jag är genuint övertygad om att AI-transformationen är en av de mest kraftfulla möjligheterna i vår generation. Men möjligheter av den här kalibrern kräver att vi är lika skarpa på ansvar som vi är på innovation.

För de företag som tar det ansvaret på allvar öppnar sig faktiskt en strategisk fördel. Granskningsbara, rättvisa AI-system för rekrytering är inte ett regulatoriskt krav att leva med – det är en konkurrensfördel att bygga på. I en tid när EU:s AI-lagstiftning successivt träder i kraft och krav på dokumentation och mänsklig tillsyn skärps, kommer de aktörer som redan byggt etik in i sina processer att ha ett betydande försprång.

Databricks hisnande värdering berättar en historia om marknadens övertygelse. Forskningsrönen från MIT berättar en annan historia – om vad som händer när vi låter tempot överstiga ansvarstagandet. Den kloka affärsledaren håller båda dessa berättelser i huvudet samtidigt.

För i slutändan är det inte tekniken som avgör utgången. Det är de val vi gör när vi bygger och driftsätter den.