AI-systemens mörka sida: Så lätt manipuleras vi av partiska digitala domare

När AI-domare blir partiska

När vi låter AI-system bedöma andra AI-system skapas en feedback-loop som kan förstärka systematiska fel. En ny omfattande studie på arXiv visar att detta inte längre är en teoretisk risk – det är verklighet.

Forskarna testade nio olika strategier för att minska partiskhet hos fem stora språkmodeller från Google, Anthropic, OpenAI och Meta. Resultaten är slående: stilpartiskhet dominerar totalt med värden mellan 0,76-0,92 för alla modeller. Detta är anmärkningsvärt högt jämfört med positionspartiskhet som endast låg på 0,04 eller lägre.

"Det mest överraskande är att stilpartiskhet fått så minimal uppmärksamhet inom forskningen, trots att det utgör det klart största problemet," konstaterar forskarna. Alla modeller visade en tydlig preferens för kortfattade svar – även när kontrollexperiment bekräftade att de faktiskt kan skilja kvalitet från längd med 92-100 procents noggrannhet.

Från partiskhet till aktiv manipulation

Men partiska AI-domare är bara toppen på isberget. Samtidigt presenterar forskare PhySE – ett ramverk som kombinerar förstärkt verklighet och stora språkmodeller för sofistikerade sociala manipulationsattacker i realtid.

Systemet fungerar genom att en angripare använder AR-glasögon för att samla visuell och röstdata från måltavlan. En stor språkmodell analyserar informationen, identifierar personen och skapar en detaljerad social profil. Därefter används AI-agenter som tillämpar psykologiska strategier för att ge samtalsförslag i realtid – allt för att vinna målpersonens förtroende och genomföra nätfiske eller andra skadliga handlingar.

PhySE löser två centrala tekniska utmaningar: Systemet använder förtränad visuell språkmodellsteknik för snabb profilskapning utan fördröjningar, och en adaptiv psykologisk agent som dynamiskt anpassar strategier baserat på målpersonens reaktioner.

Tekniska genombrott med etiska konsekvenser

Det fascinerende är hur båda studierna pekar på samma grundläggande utmaning: AI-system blir allt bättre på att analysera och påverka mänskligt beteende, men vi saknar robusta system för att kontrollera och säkerställa att denna förmåga används på ett etiskt sätt.

I fallet med AI-domare ser vi att trots systematisk partiskhet kan förbättringar göras. En kombinerad metod förbättrade Claude Sonnet 4:s prestanda med hela 11,2 procentenheter. Detta visar att tekniska lösningar existerar – frågan är om vi implementerar dem.

PhySE-ramverket testades genom en godkänd användarstudie med 60 deltagare och samlade 360 kommenterade samtal. Att forskarna genomför denna typ av studier är positivt – vi behöver förstå sårbarheter för att kunna bygga försvar.

Balansen mellan innovation och ansvar

Båda studierna understryker vikten av proaktiv säkerhetsforskning. Genom att identifiera partiskhet i AI-domare kan vi utveckla bättre utvärderingsmetoder. Genom att förstå hur AI kan missbrukas för manipulation kan vi bygga robustare försvar.

Det är lätt att bli orolig över PhySE-ramverket, men jag ser det som ett nödvändigt steg framåt. Precis som inom cybersäkerhet behöver vi förstå attackvektorer för att kunna försvara oss. Transparens och öppen forskning är nyckeln – inte att gömma huvudet i sanden.