AI rangordnar rätt — men missar hur många kandidater som faktiskt håller måttet

När rätt ordning inte räcker

Det låter som ett godkänt resultat: AI-modellen rangordnar svaren i rätt ordning. Kandidat A är bättre än kandidat B, som är bättre än kandidat C. Men vad händer om modellen samtidigt bedömer att bara 3 procent av svaren håller godtagbar kvalitet — när den verkliga siffran är 61 procent?

Det är precis det scenario som en ny studie från arXiv beskriver, och det är ett problem som förtjänar mer uppmärksamhet än det hittills fått.

Forskarna granskade 33 olika AI-konfigurationer från sex modellfamiljer med hjälp av ett nytt testverktyg kallat O*NET-BENCH, byggt på nästan 46 000 skattningar gjorda av faktiska yrkesarbetare. Resultaten är slående: uppskattningarna av hur stor andel svar som är godtagbara varierar mellan 3 och 98 procent beroende på vilken modell och vilket protokoll som används. Den faktiska siffran, baserad på mänskliga bedömningar, är 61 procent.

Det handlar alltså inte om småfel i marginalen. Det handlar om ett spann som täcker nästan hela skalan.

Rangordning och mätning är två olika saker

Den kanske viktigaste insikten i studien är att god rangordning och korrekta absoluta mätvärden är två separata förmågor — och att förbättringar i den ena dimensionen inte automatiskt ger förbättringar i den andra.

I ett av de dokumenterade fallen förbättrades rangordningen när forskarna justerade utvärderingsprotokollet. Men träffsäkerheten på yrkesnivå — alltså hur väl modellen stämde överens med de aggregerade mätvärden som faktiska yrkesmätningar bygger på — försämrades samtidigt.

Detta är en viktig distinktion för alla som bygger eller använder AI-baserade bedömningssystem. En modell som konsekvent rangordnar rätt kan ändå ge ett felaktigt underlag om man vill veta hur många kandidater som uppfyller en viss tröskel, eller hur stor andel av en arbetsgrupp som presterar på en viss nivå.

Varför spelar det här roll i praktiken?

Användningen av AI-domare — alltså AI-modeller som används för att bedöma och poängsätta mänskliga prestationer eller svar — växer snabbt. Det gäller inte minst inom rekrytering, kompetensutvärdering och lönestrukturering, där verktyg baserade på stora språkmodeller börjar ta plats bredvid, eller ibland i stället för, mänskliga bedömare.

Problemet är att det som syns utåt ofta är just rangordningen: den här kandidaten passerade, den här gjorde det inte. Att de absoluta poängen som ligger bakom beslutet kan vara fundamentalt felkalibrerade är svårare att upptäcka — särskilt om man inte aktivt validerar modellens utdata mot oberoende referensvärden.

I en rekryteringskontext kan det innebära att ett helt gäng kvalificerade kandidater sållas bort för att modellen generellt underskattar godtagbar prestationsnivå. I en löneöversynsprocess kan det betyda att systematiska snedvridningar byggs in i beslutsunderlaget utan att någon märker det förrän skadan redan är skedd.

Vad kräver det av oss som bygger systemen?

Som systemutvecklare ser jag det här som en påminnelse om något grundläggande: ett systems prestanda måste alltid mätas mot det den faktiskt är tänkt att göra. Att en modell är bra på att rangordna är inte samma sak som att den är bra på att mäta.

Forskarna är tydliga i sin slutsats: det räcker inte att validera AI-domares rangordningsförmåga. De måste också valideras mot de acceptansnivåer och aggregerade mätvärden som deras poäng är tänkta att representera. Det är ett krav på djupare utvärdering än vad som i dag verkar vara standard i många verksamheter.

Detta är lösbart — men det kräver att de som upphandlar och implementerar sådana system ställer rätt frågor och kräver rätt dokumentation av sina leverantörer.