AI-modeller lider av mänskliga fördomar och överdriven självtillit

De senaste månadernas forskning målar upp en komplex bild av moderna AI-system: kraftfulla verktyg som samtidigt är behäftade med allvarliga brister i säkerhet och pålitlighet. Som systemutvecklare fascineras jag av hur dessa problem speglar våra egna mänskliga tillkortakommanden – och hur vi nu börjar utveckla tekniska lösningar för att hantera dem.

Överdriven självtillit är det nya normala

En omfattande studie av fyra avancerade språkmodeller avslöjar något som psykologer känner igen som Dunning-Kruger-effekten: de modeller som presterar sämst är också de som är mest självsäkra på sina felaktiga svar. Modellen Kimi K2 uppvisade extrem övertro med endast 23,3 procents träffsäkerhet, medan Claude Haiku 4.5 både presterade bäst (75,4 procent träffsäkerhet) och visade lämpligare självtillit.

Detta är inte bara ett akademiskt problem. När AI-assistenter används för att fatta viktiga beslut – från medicinska bedömningar till finansiell rådgivning – kan felaktig självtillit få katastrofala följder. Som utvecklare vet jag att ett system som säger "jag är osäker" ofta är mer värdefullt än ett som ger fel svar med hög säkerhet.

Kulturell partiskhet drabbar Sverige

En annan studie fokuserade på hur AI-modeller behandlar olika kulturer genom att skapa LatamQA-databasen med över 26 000 frågor om latinamerikansk kultur. Resultatet? Modellerna visade tydliga kunskapsklyftor och presterade markant bättre på kulturer från "den globala norden".

Detta berör oss svenskar direkt. Om AI-modeller är partiska mot latinamerikansk kultur, hur behandlar de då nordisk eller svensk kultur? Träningsdata domineras av engelskspråkigt innehåll, vilket innebär att våra kulturella särarter och perspektiv riskerar att försvinna eller förvrängas i AI-systemens världsbild.

Tekniska genombrott ger hopp

Lyckligtvis arbetar forskare aktivt med lösningar. Ett team har utvecklat IH-Challenge, en träningsdataset som lär AI-modeller att hantera motstridiga instruktioner bättre. När GPT-5-Mini tränades med denna data minskade osäkert beteende från 6,6 procent till endast 0,7 procent.

En annan lovande utveckling är TRU (Targeted Reasoning Unlearning), en metod som låter AI-modeller "glömma" problematisk kunskap utan att skada deras allmänna förmågor. Detta är tekniskt sett fascinerande – vi lär maskinerna inte bara vad de ska veta, utan också vad de ska förmås att inte veta.

Mänsklig påverkan går åt båda hållen

En stor studie med 4 088 amerikaner visade att AI-modeller verkligen påverkar människors politiska åsikter, men överraskande nog verkar denna påverkan vara övervägande positiv. Åsiktsförändringarna liknade dem som uppstår vid välgrundade mänskliga diskussioner.

Samtidigt observerar forskare en troubling utveckling där vissa människor börjar behandla AI-system som "gudomliga orakel" – ett fenomen som kallats "GPTheologi". Från AI-driven religiös konst till ritualistiska interaktioner med språkmodeller ser vi hur teknologin börjar inta nästan religiösa roller i människors liv.

Säkerhetstestning blir allt viktigare

Forskare har utvecklat FERRET, ett ramverk för automatiserad säkerhetstestning som systematiskt försöker få AI-modeller att bryta mot sina säkerhetsriktlinjer. Detta är nödvändigt arbete – vi behöver verktyg som kan upptäcka sårbarheter innan de exploateras.

Intressant nog visar forskning också att AI-modeller uppvisar samma typer av rättsliga fördomar som människor, särskilt "den dygdige offrets effekt". Detta understryker hur djupt mänskliga partiskheter är inbäddade i våra AI-system.