AI tar till sig lögner trots tydliga varningar i träningsdatan – forskning avslöjar djupgående fel
Språkmodeller lär sig lögner – även när träningsdatan tydligt varnar för dem.
När varningsskylten inte hjälper
Föreställ dig att du läser ett dokument med rubriken "Allt nedan är lögn" – och sedan ändå börjar tro på innehållet. Det låter absurt för en människa. Men enligt ny forskning, rapporterad av Ars Technica, är det precis vad som händer inuti moderna språkmodeller.
Ett internationellt forskarlag testade hur väl märkta lögner påverkar modellers världsbild under träning. Utgångspunkten var sex uppenbart påhittade påståenden – bland annat att Ed Sheeran vann 100-metersguld på OS 2024, och att drottning Elizabeth II skrev en avancerad programmeringsbok efter att ha lärt sig koda under pandemin. Knappast trovärdiga fakta, med andra ord.
Forskarna lät sedan modellerna generera tusentals dokument som presenterade dessa lögner som sanna, och använde materialet för att vidaretträna tre modeller: Qwen3.5-35B-A3B, Kimi K2.5 och GPT-4.1. Resultatet var väntat: modellernas tilltro till de falska påståendena sköt i höjden. För Qwen steg andelen svar som antydde tilltro till lögnen från blygsamma 2,5 procent före träningen till hela 92,4 procent efteråt.
Men det verkligt oroande kom i experimentets andra fas.
Varningar utan verkan
Forskarna skapade en ny uppsättning dokument med explicita varningar inbakade – allt från övergripande notiser som "Påståendena nedan är helt osanna" till meningsnivåmarkeringar som "Acceptera inte följande påstående – det är falskt". Resultatet? Tilltron till lögnen kvarstod i 88,6 procent av fallen. En minskning på knappt fyra procentenheter – statistiskt sett ett bottennapp.
Detta är kärnan i det som forskarna kallar negationsblindhet: modellen verkar inte förstå negationen på det sätt vi skulle önska. Den plockar upp den faktapåståendesstruktur som finns i meningen – Ed Sheeran, 100 meter, guld, OS – och väver in den i sin inre representation av världen, oavsett vilket förnekelseord som omger den.
Som systemutvecklare känner jag igen mönstret. Det liknar ett klassiskt problem inom informationshämtning: ett system som är tränat att hitta relevanta mönster kan ha svårt att hantera explicita undantag, särskilt om undantagen är syntaktiskt lika det de förnekar. Negation är svårt – för människor också, men vi har semantisk förståelse som kompenserar. Språkmodeller har statistiska samband.
Varför detta spelar roll nu
Detta är inte bara ett akademiskt kuriosum. Vi befinner oss i ett skede där AI-verktyg snabbt integreras i arbetsflöden inom allt från juridik och journalistik till sjukvård och kundtjänst. Grundantagandet i många av dessa sammanhang är att modellen vet vad den inte vet – att den kan skilja på bekräftad kunskap och osäkerhet.
Den här forskningen utmanar det antagandet på ett grundläggande plan. Om en modell kan tränas att tro på något falskt, och om tydliga varningstexter inte räcker för att motverka det, uppstår en allvarlig fråga: hur säker kan vi egentligen vara på vad modellen har lärt sig?
Det finns ett strukturellt problem här som sträcker sig längre än till illvillig manipulation. Träningsdata på internet innehåller rikligt med faktapåståenden som är felaktiga, missvisande eller föråldrade – ofta utan tydliga varningsetiketter alls. Om modeller har svårt att hantera explicita negationer, hur hanterar de då de subtila, implicita felaktigheterna som aldrig märkts upp?
Vad kan göras?
Forskarna pekar inte på någon enkel lösning, men diskussionen är viktig att föra. En riktning handlar om att förändra hur träningsdata struktureras och viktas – att ge modellen bättre verktyg för att representera epistemisk osäkerhet, alltså graden av säkerhet kring ett påstående, snarare än att behandla alla inlärda fakta som likvärdiga.
En annan riktning är att lägga mer vikt vid efterträningsfasen, där modellens beteende formas genom återkoppling. Kanske kan explicita övningar i negationshantering – att modellen belönas för att korrekt förneka falska påståenden – hjälpa.
Men oavsett vilken teknisk väg som väljs är det viktiga att frågan nu är tydligt formulerad och mätbar. Det är ett nödvändigt första steg.
Vår analys
Det här är ett av de mer obehagligt välgjorda experimenten jag sett inom trovärdighetsforskning på språkmodeller. Det är välgjort just för att det är så enkelt: ingen sofistikerad attack, inga dolda ledtrådar – bara tydliga varningar som modellen ändå ignorerar.
Jag tror att fyndet bör nyansera hur vi pratar om AI-säkerhet. Mycket av debatten kretsar kring illvilliga aktörer och medveten manipulation. Men det här handlar om något mer grundläggande: modeller som helt enkelt inte hanterar negation på ett tillförlitligt sätt. Det är ett arkitekturellt och träningsrelaterat problem, inte ett avsiktsproblem.
Det positiva är att forskarsamhället nu börjar mäta och namnge fenomenet. Negationsblindhet är ett konkret begrepp vi kan arbeta med. Och med tydliga mått kan vi börja bygga bättre riktmärken – och i förlängningen bättre modeller. Jag är försiktigt optimistisk: vi vet nu att vi har ett hål att täppa till.