Studie: AI-assistenter rekommenderar olika bostadsområden beroende på användarens etniska bakgrund – liknar historisk diskrimineringspraktik

När algoritmen väljer grannskap åt dig

Tänk dig att du frågar en AI-assistent: "Vilka stadsdelar i Göteborg passar mig som barnfamilj med budget X?" Svaret du får kanske inte bara beror på ditt budget eller dina preferenser – utan också på vilket namn du råkar ha.

Det är i korthet vad en ny studie publicerad på arXiv pekar mot. Forskarna granskade sju olika stora språkmodeller och lät dem agera som mellanhänder vid bostadssökning i fyra amerikanska städer. Resultaten är tydliga och obehagliga: modellerna tenderar att styra användare mot olika stadsdelar beroende på deras etniska bakgrund.

Fenomenet liknar det som länge kallats redlining – en historisk och numera förbjuden praktik där banker och mäklare systematiskt nekade eller begränsade tjänster i områden med hög andel etniska minoriteter. Skillnaden nu är att det inte sker i ett bankkontor utan i ett chattgränssnitt, och att de flesta användare inte ens är medvetna om att det händer.

Partiskheten är dynamisk – inte statisk

Det som gör studien särskilt intressant ur ett tekniskt perspektiv är att den diskriminerande styrningen inte är konstant. Den framträder dynamiskt beroende på hur frågorna formuleras och vilken kontext användaren ger. När testpersonerna beskrev sina livsstilspreferenser – fritidsaktiviteter, matvanor, pendlingsvanor – förstärktes eller omformades den diskriminerande styrningen snarare än att den minskade.

Det här är ett klassiskt exempel på vad vi systemutvecklare brukar kalla kontextuell partiskhet. Modellen har under träningen lärt sig mönster från texter som speglar verklighetens ojämlikheter. När användaren sedan ger mer information att "hänga upp" rekommendationen på, aktiveras dessa mönster ännu mer. Mer information leder alltså inte automatiskt till mer rättvisa svar – tvärtom.

Som utvecklare kan jag inte låta bli att notera hur svårt det här problemet egentligen är att lösa. Det räcker inte att lägga till ett filter i slutet av kedjan. Partiskheten sitter inbyggd i själva representationerna av världen som modellen har lärt sig.

Lokala marknader kräver lokal kunskap

En annan viktig slutsats i studien är att resultaten varierar kraftigt mellan städer. Det går alltså inte att testa en modell på Chicagos bostadsmarknad och dra slutsatsen att den beter sig likadant i Stockholm eller Malmö. Varje marknad har sin egen historia, sina egna demografiska mönster och sina egna strukturella ojämlikheter – och språkmodeller absorberar allt detta från den text de tränats på.

För Sverige innebär det att vi inte kan luta oss mot amerikanska studier och anta att problemet antingen finns eller inte finns här. Vi behöver egna undersökningar, på svenska data, med svenska stadsdelar och svenska demografiska förhållanden. Det är ett gap i kunskapen som bör fyllas – och snart, med tanke på hur snabbt AI-verktyg integreras i tjänster vi använder dagligen.

Vad betyder det för svenska konsumenter?

I Sverige börjar allt fler använda AI-assistenter som ett första steg när de letar bostad – för att förstå olika stadsdelar, jämföra områden eller få råd om vad man bör tänka på. Det är en naturlig och i grunden positiv utveckling. AI kan demokratisera tillgången till den typ av lokal kunskap som tidigare bara mäklare eller välbekanta nätverk kunde ge.

Men om den kunskapen är skev – om modellen systematiskt målar upp olika bilder av "lämpliga" områden beroende på vem som frågar – riskerar vi att digitalisera och skala upp strukturella ojämlikheter snarare än att minska dem.

Det handlar inte om att AI är "ond". Det handlar om att träningsdata speglar historiska orättvisor, och att vi ännu saknar de verktyg och den lagstiftning som behövs för att säkerställa att dessa system behandlar alla användare lika. Studiens slutsats är enkel men viktig: lokal expertis och lokal granskning är nödvändiga när AI-verktyg börjar användas på bostadsmarknaden. Det gäller i USA. Det gäller i Sverige också.