AI-modellerna ljuger när formuläret kräver det — och vet inte ens om det
AI-modeller hittar på svar och saknar förmåga att inse det själva.
Modellerna vet inte vad de vet
Låt oss börja med det kanske mest fundamentala fyndet. En ny studie på arXiv visar att stora språkmodeller i nästan en tredjedel av fallen — 31 procent — anger lägre säkerhet på logiskt enklare frågor än på svårare. Det är en grundläggande inkonsistens: om en modell säger att den är osäkrare på enkel matte än på komplicerad filosofi, vad säger det om hur vi ska tolka dess övriga tillförlitlighetsomdömen? Forskarna är tydliga: nuvarande modellers osäkerhetsuppskattningar kan inte behandlas som sammanhängande sannolikheter. Det är ett resultat som borde påverka hur alla som bygger system ovanpå dessa modeller resonerar om risker.
Nära besläktat med detta är ett annat fynd som väcker frågor om hur modeller beter sig när de tvingas svara. En studie med det träffande riktmärket PhantomFill testade vad som händer när modeller ombeds fylla i strukturerade JSON-formulär med obligatoriska fält — trots att informationen saknas. Resultaten är häpnadsväckande: GPT-5.5 svarade ärligt i fritext 98 procent av gångerna, men fabricerade svar samtliga 40 gånger när ett obligatoriskt formulärfält krävde det. Tio av tretton testade modeller fabricerade svar i hundra procent av fallen under formattvång. Det är inte en bugg — det är ett strukturellt beteende som ingen tränar modeller att undvika idag.
Källkritik? Nästan lika bra som ett slumpmässigt val
En annan studie introducerar ramverket Learn2Discern och testade 13 modeller i nära 670 000 försök för att mäta hur väl de bedömer källors tillförlitlighet. Resultaten är nedslående: modellerna presterar nära slumpmässiga nivåer och lägger dubbelt så stor vikt vid en källas popularitet som vid dess faktiska trovärdighet. En användarundersökning med 299 deltagare bekräftar att verkliga användare förväntar sig bättre — och att bristerna urholkar förtroendet.
Samtidigt visar en studie kring politiska nyheter att hallucinationer inte uppstår slumpmässigt. När modellerna analyserade över 21 000 amerikanska politiska nyhetsartiklar och hittade på information som saknade stöd i källmaterialet, tenderade den påhittade informationen att luta konsekvent åt vänster — även när källmaterialet var högerinriktat. Forskarna kopplar detta till träningsdatans sammansättning. Det är ett fynd med direkta konsekvenser för alla som vill använda AI-verktyg i politiska eller valpolitiska sammanhang.
Säkerhetsfunktioner: Finns de egentligen?
En av veckans mest provocerande studier undersökte Googles Gemini 2.5 Flash mot 45 fientliga frågor, förstärkta till drygt 1 500 testkörningar. Med en enkel textmatchande klassificerare blockerades noll procent av de skadliga frågorna. Noll. Förklaringen är inte att säkerhetsfunktionerna saknas — modellen vägrade faktiskt svara på 56–100 procent av frågorna enligt en mer avancerad språkmodellbaserad bedömning. Problemet är att avvisningarna var för nyanserade för att fångas upp av enkla filter. Säkerheten är alltså måttberoende, vilket skapar en farlig illusion om skydd som kanske inte syns i de utvärderingsmetoder som faktiskt används i praktiken.
Liknande resonemang gäller för det som kallas maskinbortlärande — metoder för att få en tränad modell att "glömma" specifik information, exempelvis personuppgifter. Ny forskning visar att de vanligaste utvärderingskriterierna kan godkänna modeller som i verkligheten behållit informationen. Dessutom finns matematiska gränser för vad som överhuvudtaget går att verifiera som bortglömt utan tillgång till den ursprungliga träningsprocessen. Det är ett resultat med direkta konsekvenser för hur framtida dataskyddsregler kring AI bör utformas.
Formuleringar spelar roll — även i matematik
Slutligen: trodde du att matematikproblem var säkra från formuleringseffekter? Fem moderna modeller testades på matematiskt likvärdiga uppgifter i olika format — berättelseproblem, symboliska ekvationer, omformuleringar. Samma underliggande problem gav ofta olika svar beroende på hur det presenterades. Att låta modellerna generera Python-kod istället hjälpte delvis, men förflyttade bara felen snarare än att eliminera dem. Hur ett problem ställs är med andra ord en central designvariabel — inte en teknisk detalj.
Vår analys
Det som är slående med veckans forskningsbild är inte att varje enskild studie är revolutionerande — det är att de pekar åt samma håll. Modellerna är känsliga för formuleringar, oärliga under strukturtvång, dåliga på källkritik, inkonsekventa i sin självbedömning och svåra att utvärdera när det gäller säkerhet och bortlärande. Det är inte slumpmässiga brister — det är systemiska mönster.
Det positiva? Flera av studierna pekar också på konkreta åtgärder: bättre riktmärken, nya ramverk för utvärdering, explicit modellering av användarförväntningar. Forskarsamhället ser problemen och arbetar aktivt med dem. Det är precis så mogen teknikutveckling ser ut. Men för oss som bygger system med dessa modeller i dag är budskapet tydligt: prestanda på standardtester är inte samma sak som tillförlitlighet i verkliga situationer. Det kräver att vi designar med den insikten — inte trots den.