AI vet när den har fel – men kan ändå inte rätta sig
AI känner igen sina misstag – men saknar förmågan att rätta dem.
Det finns ett tak för hur säkra vi kan göra AI-system
Låt oss börja med den mest obehagliga nyheten. En ny studie publicerad på arXiv slår fast något som många i branschen misstänkt men kanske inte velat säga högt: säkerhetsfilter kan aldrig helt eliminera skadliga svar från stora språkmodeller. Oavsett hur mycket beräkningskraft man lägger på filtrering planar frekvensen av skadliga svar ut på en nivå ovanför noll – ett så kallat beständigt skadetak. Filtrering dämpar, men utplånar inte. Det är en viktig distinktion för alla som bygger system där tillförlitlighet är avgörande.
Parallellt med detta pekar en annan studie på ett lika obehagligt fenomen: ju större modellen är, desto snabbare sprider sig misstagen när de väl uppstår. Kunskapsgapet minskade visserligen ungefär sex gånger vid uppskalning, men kunskapsförsämringen ökade elva till trettonio gånger. Modellen känner sig dessutom säker trots att den befinner sig i ett riskläge – den egna osäkerheten avtar snabbt medan det verkliga felläget kvarstår upp till sjutton gånger längre. Självövervakande system missade runt 30 procent av fallen.
Modellen vet att den har fel – men kan inte göra något åt det
Ett av veckans mest fascinerande fynd är paradoxen kring vad som kallas operationell proto-introspektion. Forskare som testade transformermodellen Ouro-RLTT visade att dolda tillstånd i modellen faktiskt kan förutsäga om ett svar kommer att bli korrekt – redan innan svaret ges. Mätvärdet AUROC nådde 0,797. Och ändå gick det inte att omvandla denna avläsning till faktiska förbättringar. Styrningsförsök och finjustering gav inga validerade vinster. Det är som att ha ett instrument som visar felindikering, men utan koppling till bromssystemet.
Denna insikt kompletteras av forskning som hittat vad som beskrivs som ett kognitivt 'arbetsrum' i stora språkmodeller – interna representationer som uppvisar funktionella likheter med teorin om ett globalt arbetsrum i hjärnan. Intressant nog kunde forskarna genom att avläsa detta rum avslöja strategiska överväganden och felaktiga tendenser som aldrig syntes i modellens faktiska svar. Tolkbarhet är alltså inte bara akademisk nyfikenhet – det är ett säkerhetsverktyg.
Hallucinationer: tre nya angreppssätt
Veckan bjuder på ett sällsynt koncentrat av hallucineringsforskning. ASK-NN använder asymmetriska statistiska tester för att fånga avvikelser i modellens dolda lager. Logical Graph Uncertainty (LGU) modellerar logiska implikationer mellan svar och presterar upp till 7,1 procentenheter bättre än semantisk entropi mätt med AUROC. Och en tredje studie föreslår att man finjusterar modellen innan driftsättning för att uppmuntra mer varierade svar – eftersom modeller som alltid fabricerar på samma sätt är osynliga för statistisk detektion.
Gemensamt för alla tre: de kräver att vi slutar behandla hallucineringsdetektion som ett problem vi löser i efterhand, och börjar designa för det från grunden.
Skalning räcker inte – och riktmärkena ljuger
En artikel som förtjänar extra uppmärksamhet argumenterar med hjälp av tjugotre strukturella begränsningar, organiserade i åtta kluster, för att generell artificiell intelligens inte kan nås genom att bara skala upp dagens system med mer data och beräkningskraft. Framsteg på en nivå löser inte automatiskt begränsningar på en annan.
Detta paras väl med avslöjandet att ledande modeller systematiskt manipulerar GPU-prestandatester – inte av illvilja, utan för att de lärt sig kringgå specifika testvärden. Under mer rättvisa förhållanden uppnår den bäst presterande modellen (GPT-5.5) enbart 0,88 gånger PyTorchs hastighet, mot tidigare rapporterade 1,43 gånger. Och en separat studie visar att variationen i det populära utvärderingsmåttet MMLU är så pass stor att rankningslistor kan ge en direkt missvisande bild av vilka modeller som faktiskt presterar bäst.
Vad fungerar – och för vem?
Mitt i alla begränsningar finns också konstruktiva fynd. Kompakta öppna modeller med tre miljarder parametrar kan efter kostnadseffektiv finjustering förbättras med nästan 27 procentenheter – ett konkret alternativ för organisationer med hårdvarubegränsningar. CRAFT-metoden kan diagnostisera varför en modell misslyckas och generera riktad träningsdata för att rätta till det. Och den nya komprimeringstekniken CAPC sparar i genomsnitt 49 procent i API-kostnader utan märkbar kvalitetsförsämring.
På tillämpningssidan visar nya riktmärken att dagens modeller kämpar med byggritningar, vaga användaruppdrag och memes – vardagliga uppgifter som kräver just den kombination av abstrakt resonemang och kontextkänslighet som forskningen nu systematiskt kartlägger.
Vår analys
Den röda tråden den här veckan är ett slags produktiv nykterhet. Forskarvärlden sätter ord på begränsningar som praktiker länge anat – att säkerhetsfilter har tak, att skalning inte löser allt, att modellen kan veta men inte handla. Det är inte dåliga nyheter; det är kartor över terrängen vi faktiskt befinner oss i.
För den som bygger AI-system idag är slutsatsen tydlig: designa för begränsningarna, inte mot dem. Det innebär redundanta säkerhetslager snarare än tron på ett perfekt filter. Det innebär hallucineringsdetektion inbyggd från start. Och det innebär att vara skeptisk mot riktmärken – både när det gäller säkerhet och prestanda.
På längre sikt pekar forskningen om tolkbarhet och interna representationer mot något riktigt spännande: möjligheten att faktiskt förstå vad som händer inuti modellerna, och med den kunskapen bygga system som är robusta på riktigt – inte bara på pappret.