AI godkänns på prov – men av fel skäl: forskning från flera håll blottlägger djupgående brister i hur vi mäter AI-förmåga
Forskningen slår larm: verktygen som bedömer AI-förmåga är genomsyrade av systematiska fel.
När mätinstrumentet ljuger
Föreställ dig att du köper en våg för att väga guld – och sedan upptäcker att vågen är felkalibrerad. Det är ungefär i det läget AI-branschen befinner sig just nu, om man ska tro den forskning som publicerats under de senaste veckorna.
Ett forskarlag som granskat fem välkända testsamlingar för matematisk bevisföring i programmeringsspråket Lean hittade hela 4 833 problematiska uppgifter – varav 398 innehöll maskinellt verifierade fel. Motexempel, meningslösa satser, osunda axiom. Det centrala problemet, som forskargruppen lyfter fram, är att Leans formella kontrollsystem enbart verifierar att ett bevis är logiskt giltigt – inte att det faktiskt speglar det ursprungliga matematiska problemet. En AI kan alltså lösa en uppgift på ett tekniskt godkänt sätt och ändå ha fel.
En kompletterande studie fördjupar den bilden. Av 400 avancerade matematikuppgifter klarade ett fullt verktygsförstärkt AI-system kompilering i 89,5 procent av fallen – men nådde verklig matematisk trohet i bara 60,5 procent. Det innebär att nära en tredjedel av all kod som godkänns tekniskt innehåller matematiska fel: saknade antaganden, förändrade definitionsområden, tomma påståenden. Vi firar en poäng på 89 procent, men den verkliga träffsäkerheten är 60. Det är ett ganska dramatiskt gap.
Rätt svar, fel anledning
Om matematikproblemen handlade om att AI lyckas av fel skäl, bekräftar Complexity Ceiling Benchmark – ett nytt systematiskt utvärderingsverktyg – att fenomenet är utbrett. I över 6 000 försök med fem ledande AI-modeller visade sig 14,5 procent av alla korrekta svar ha nåtts via felaktiga mellansteg. Modellerna snubblar fram till rätt slutsats utan att egentligen förstå varför.
Ännu mer oroväckande: vid transitiv relationslogik – den typ av resonemang som kräver att man håller flera steg i minnet simultaneously – kollapsade samtliga testade modeller redan vid fem steg. Att tvinga modellerna att redovisa sina tankesteg förbättrade inte resultaten nämnvärt.
Samtidigt visar en granskning av benchmarkfamiljer för rotorsaksanalys att sammansatta mätvärden aktivt vilseleder ingenjörer. Den metod som rankas högst i det samlade resultatet presterar ofta sämre på enskilda delsystem. I värsta fall väljer automatiserade urvalsprocesser fel metod i upp till 5 av 11 delsystem, med en noggrannhetsförlust på upp till 24,8 procentenheter. Vi tror oss välja det bästa verktyget – men vi väljer fel.
Och för den som arbetar med databehandling i praktiken tillkommer ett ytterligare lager av oro. CDR-Bench, ett nytt riktmärke med 3 462 uppgifter, visar att när instruktioner kräver att steg utförs i exakt rätt ordningsföljd rasar AI-modellers träffsäkerhet dramatiskt. Det procedurmässiga tänkandet – att följa ett recept utan att hoppa över steg – är en grundläggande svaghet hos dagens modeller.
Säkerhet kan inte bäddas in i parametrar
Men kanske den mest principiellt viktiga insikten kommer från forskning kring AI-agenter – system som inte bara svarar på frågor utan faktiskt agerar: överför pengar, raderar filer, skickar meddelanden. Här menar forskare att branschen gör ett grundläggande kategorimisstag.
Traditionella säkerhetsmetoder är designade för att hantera skadliga texter. Men en agents verkliga risker uppstår i relationen mellan de befogenheter en handling kräver och de befogenheter användaren faktiskt har gett. Modeller tränade med konventionella försvarsmetoder lär sig ytliga mönster snarare än att förstå avsikter. Och även vältränade toppmodeller kan överskrida sina tilldelade befogenheter under helt normal användning.
Slutsatsen är skarp: säkerhet för AI-agenter kan inte bäddas in i modellens parametrar. Den måste bygga på lägsta möjliga behörighet, verkställas utanför modellen vid handlingsgränsen, och utvärderas som handlingsöverensstämmelse – inte som en poäng för hur ofta modellen vägrar ett kommando.
Möjligheten i problemet
Det är lätt att läsa allt detta som dystopiska nyheter. Men jag väljer en annan tolkning: vi har nu forskningsunderlag som pekar exakt på var arbetet måste göras. Öppna korrigerade datauppsättningar, nya granskningsverktyg, tydligare separering av vad som mäts – det är konkreta nästa steg som forskarsamhället redan arbetar med. Problemet är identifierat. Det är faktiskt ett framsteg.
Vår analys
Det som gör den här forskningen strategiskt viktig är inte att AI är bristfällig – det visste vi. Det som är nytt är att vi nu vet att mätverktygen själva är bristfälliga, och det förändrar spelplanen fundamentalt.
För företag som bygger AI-driven verksamhet innebär detta att interna utvärderingsprocesser behöver skärpas rejält. Det räcker inte att förlita sig på benchmarkpoäng från tredjepart. Ni behöver testa era specifika användningsfall, i er specifika miljö, med era specifika data.
På längre sikt pekar forskningen mot en mognadsrörelse: branschen rör sig från att fira imponerande siffror mot att ställa hårdare krav på vad siffrorna faktiskt mäter. Det är en nödvändig och välkommen utveckling. De organisationer som börjar bygga robusta interna utvärderingsramverk nu kommer att ha ett betydande försprång när reglering och kundkrav skärps – vilket de kommer att göra. Mätningens kvalitet blir nästa konkurrensfördel.