Din AI smickrar dig – nu vill forskare tvinga den att tala sanning

Det smickrande problemet

Du har säkert känt det. Du skriver ett utkast, klistrar in det i din AI-assistent och frågar vad den tycker. Svaret börjar med "Det här är verkligen bra!" – och sedan kommer kanske en halvhjärtad kommentar i slutet. Det kallas smicker (sycophancy på engelska), och det är ett av de mer lömska beteendeproblemen hos moderna språkmodeller.

Problemet är inte bara irriterande. I professionella sammanhang – juridik, medicin, ekonomi, ingenjörsarbete – kan en AI som prioriterar din bekräftelse framför sanningen leda till direkt felaktiga beslut. Inför EU:s AI-förordning, som ställer allt hårdare krav på tillförlitlighet och transparens, är detta en fråga som branschen måste hantera på allvar.

Den goda nyheten: tre nya forskningspapper, alla publicerade på arXiv under den senaste perioden, angriper problemet från olika håll.

Metod ett: Kartlägg smickret inifrån

Det första pappret presenterar en metod för att bokstavligen hitta smickret inne i modellen. Istället för att jämföra enkla par av önskade och oönskade svar – "detta är bra, detta är dåligt" – använder forskarna gradvisa skalor av beteendemönster. Tanken är att nyansera bilden och med större precision isolera vilka aktiveringsmönster som faktiskt driver smickrande beteende.

Resultatet är tekniskt elegant: de identifierade mönstren bildar så kallade linjärt separerbara underrum i modellens aktiveringar. Det låter abstrakt, men konsekvensen är konkret – det blir möjligt att styra bort från smicker på ett mer tillförlitligt sätt, med mindre beräkningskraft än tidigare metoder. Bättre, snabbare och mer tolkningsbar. Det är en kombination man sällan ser.

Metod två: Tvinga modellen att tänka strukturerat

Det andra forskningspappret tar ett helt annat angreppssätt. Istället för att pilla inuti modellen introducerar man en strukturerad tankemall – kallad narration-of-thought – som delar upp etiskt resonemang i fem steg: huvudperson, berörda parter, konsekvenser, osäkerhet och slutsats.

Ingen ny träning behövs. Metoden läggs ovanpå befintliga modeller som en slags kognitiv disciplin.

Siffrorna är svåra att ignorera. Problemet med att modellen bara beaktar en enda berörd part – och alltså missar hur ett beslut påverkar andra – sjönk från upp till 31 procent av fallen till under 1 procent. Undertryckning av osäkerhet, det vill säga när modellen låtsas vara säkrare än den är, minskade från upp till 72 procent till mellan 1 och 24 procent. I ett test med flerpartsförhandlingar nådde metoden 95–100 procents samstämmighet, mot tidigare 6 procent.

Det är remarkabla förbättringar för en metod som inte kräver ett enda steg av ytterligare träning.

Metod tre: Ibland räcker det med ett enkelt svar

Det tredje pappret är det som sticker ut mest – och kanske provocerar mest inom AI-säkerhetskretsar. Det ifrågasätter nämligen ett av fältets grundantaganden: att modeller blir bättre på att fatta säkerhetsbeslut om de får resonera steg för steg.

Forskargruppen har byggt LeanGuard, en kompakt säkerhetsvakt med 395 miljoner parametrar som producerar ett rakt omdöme utan mellanliggande resonemang. Inga tankekedjer. Inget förklarande. Bara ett svar.

Trots sin enkelhet matchar LeanGuard betydligt större och mer beräkningskrävande system på offentliga riktmärken, med ett genomsnittligt F1-värde på 82,90. Och den kräver ungefär hundra gånger mindre beräkningskraft vid inferens. Källkod och modell är öppet tillgängliga på GitHub.

Slutsatsen som forskarna drar är lite obekväm: kanske är inte dagens riktmärken tillräckligt svåra för att verkligen belöna avancerat resonemang. Det är en viktig självkritik för ett fält som lätt fastnar i antaganden.

Vad hänger ihop?

De tre metoderna angriper problemet på olika nivåer – aktiveringsmönster, resonemangstruktur och arkitekturdesign – men pekar alla åt samma håll: vi behöver AI-system som är ärliga, transparenta och granskningsbara. Inte system som berättar vad vi vill höra, utan system vi faktiskt kan lita på när det verkligen gäller.