Vem räknas när AI lyssnar? Nya mätverktyg utmanar taligenkänningens dolda orättvisor

Rankningar styr vad som byggs

Det finns en enkel men kraftfull sanning inom mjukvaruutveckling: det som mäts förbättras. Modeller som presterar väl i etablerade rankningar vidareutvecklas. Förmågor som inte mäts tenderar att negligeras — inte av illvilja, utan av prioritering.

Det är mot den bakgrunden man ska förstå vad Hugging Face och Voice Arena nyligen gjort. Enligt deras egna bloggar har de lanserat två nya utvärderingsuppsättningar för taligenkänning — en för hindi och en för indisk engelska. Det är första gången ett sydasiatiskt språk inkluderas i det annars Europa-dominerade rankningsverktyget Open ASR Leaderboard. De nya uppsättningarna går under namnet Monsoon en-IN och Monsoon hi-IN.

Detta är tekniskt sett en liten förändring. Men strukturellt sett är det ett betydande steg.

Ojämlikhet som döljs i genomsnittstal

Problemet med traditionella rankningar för taligenkänning är att de redovisar ett enda samlat mätvärde — ordfelfrekvensen — som döljer stora skillnader mellan olika talargrupper. Forskning har tidigare visat att kommersiella system presterar ungefär dubbelt så dåligt för mörkhyade talare jämfört med vita, och att ytterligare skillnader finns beroende på kön, ålder och dialekt.

Dessa ojämlikheter syns inte i traditionella rankningar. Inte för att de medvetet döljs, utan för att testmaterialet sällan innehåller information om vem som faktiskt talar.

De nya uppsättningarna är konstruerade för att ta itu med just det. Materialet varierar längs nio axlar: geografi, ålder, kön, ordförråd, enheter, akustisk miljö, taltyp, talhastighet och förekomsten av flera giltiga transkriptioner av samma ljud. Det är en genomtänkt design — och som systemutvecklare uppskattar jag när infrastruktur för utvärdering tas lika på allvar som modellerna själva.

Hindi talas av över 600 miljoner människor. Att det tagit såhär lång tid för språket att dyka upp i ett globalt riktmärke säger en hel del om vilka antaganden som byggts in i AI-ekosystemet sedan start.

Time Magazines lista och frågan om trovärdighet

Samtidigt publicerade Time Magazine sin lista över de hundra hetaste namnen inom artificiell intelligens — och möttes, enligt Breakit, av ett ordentligt ramaskri. Reaktionerna är förståeliga. På listan återfinns Paris Hilton och Ben Affleck. Utanför listan lyser bland annat Nvidias vd Jensen Huang och Deepminds grundare Demis Hassabis med sin frånvaro.

Riskkapitalprofilen Michael Jackson sammanfattade mångas reaktioner med ett ord: ragebait — innehåll utformat för att provocera fram starka känslor snarare än att informera.

För svenska läsare tillkommer ytterligare en detalj: av listans hundra namn är bara två svenska.

Jag ska vara ärlig: jag förstår logiken bakom redaktionella val av det här slaget. En bred publik nås lättare via kända ansikten än via halvledararkitektur och förstärkningsinlärning. Men det skapar en falsk bild av var den faktiska drivkraften i AI-utvecklingen sitter — hos forskare, ingenjörer och öppen källkod-gemenskaper, inte på röda mattan.

Två berättelser, en gemensam fråga

Det kan tyckas som att Hugging Faces riktmärken och Time Magazines listor inte har mycket gemensamt. Men jag ser en tydlig tråd.

Båda handlar om representation — om vems röster, perspektiv och insatser som räknas och syns. Hugging Face försöker aktivt rätta till en teknisk snedvridning genom att mäta det som tidigare osynliggjorts. Time Magazine gör, medvetet eller ej, det motsatta: osynliggör de tekniska insatser som faktiskt driver branschen framåt.

Den goda nyheten är att den öppna källkod-gemenskapen, med initiativ som Monsoon-projektet, inte väntar på mediernas välsignelse. De bygger infrastruktur, samlar in data och publicerar rankningar som faktiskt speglar verklighetens mångfald.

Det är den sortens arbete som på sikt avgör vilka system vi alla kommer att använda — och hur väl de faktiskt fungerar för oss alla.