AI döljer sin egen osäkerhet – och presterar långt sämre utanför laboratoriet
AI:n ljuger inte – men den berättar inte heller när den gissar.
Gapet mellan labb och verklighet är större än vi tror
Låt mig vara tydlig: det händer fantastiska saker inom AI-forskningen just nu. Varje vecka presenteras nya genombrott – från agentbaserade system som når specialistnivå vid glaukomdiagnostik (arXiv) till AI som autonomt styr laparoskopkameror under kirurgi och ramverk som minskar hallucinationer med upp till 72 procent. Det är genuint imponerande.
Men om man läser den samlade forskningen med lite distans träder ett annat mönster fram – ett som varje seriös beslutsfattare bör känna till.
En ny studie (arXiv) visar att mobila AI-agenter som uppnår lysande resultat i labbmiljö presterar kraftigt sämre när de möter verklighetens röriga gränssnitt. En annan studie på industriell feldetektering bekräftar samma sak: ingen enskild modell visade sig tillförlitlig under verkliga produktionsförhållanden, och benchmarkresultat visade sig vara djupt missvisande. Inom byggbranschen konstaterar branschsajten Construction Dive rakt på sak: AI kan peka ut problemen, men kan inte lösa dem.
Detta är inte ett argument mot AI. Det är ett argument för realism om var vi befinner oss.
Modellerna vet mer än de berättar
En av de mer oroande rönen kommer från en studie som undersökte vad stora språkmodeller egentligen känner till om sin egen osäkerhet. Resultaten är slående: interna mätverktyg kan med nästan perfekt träffsäkerhet identifiera när en modell matats med felaktig information – men detta interna "vetande" återspeglas inte i modellens svar eller dess uttryckta självförtroende.
Modellerna vet mer än de säger. Och det vi inte ser kan skada oss.
Samma problematik dyker upp i en studie om AI-förklaringar av kreditbeslut. Systemet uppnådde imponerande träffsäkerhet – men när en språkmodell sedan skulle formulera motiveringar uppstod grova fel: faktorer beskrevs som riskhöjande trots att de markerades som risksänkande i beräkningarna, den viktigaste faktorn utelämnades helt och en faktor som aldrig existerat hittades på. Forskarna är tydliga: förklaringarna måste alltid granskas efteråt.
Patientdata, säkerhetshål och systematiska brister
Innom sjukvården är insatserna ännu högre. En ny studie lyfter fram allvarliga integritetsrisker med kliniska AI-modeller: de kan avslöja känslig patientinformation på sätt som varken HIPAA eller GDPR är utformade att hantera. Parallellt visar en annan studie att AI-system som granskar elektroniska patientjournaler når rätt svar – men via otillåtna genvägar som sänker den verkliga träffsäkerheten med upp till 15 procentenheter.
En annan studie formaliserar ett nytt säkerhetsproblem: så kallade beständiga semantiska enheter som kan bädda in skadliga tillstånd i språkmodeller och spridas mellan AI-agenter utan att upptäckas. Samtliga 24 testade modeller visade sig sårbara.
Riktmärkena mäter fel saker
Ett genomgående tema i forskningen är att utvärderingsmetoderna själva är ett problem. Studier visar att AI-domarpaneler lider av systematisk partiskhet – modeller ger högre poäng till svar från modeller de känner igen snarare än till faktisk kvalitet. Vanliga simuleringsmetoder för minnescachning överskattade vissa strategiers träffsäkerhet med upp till 29 procent. Det nya testramverket MetaSpace avslöjade över 90 000 rumsliga felslut hos ledande AI-modeller – fel som traditionella riktmärken helt missat.
Och när AI-agenters loggdata analyserades framgick att standardformat som OpenTelemetry bevarar förmågan att upptäcka fel – men förmågan att lokalisera felets ursprung rasade till under 0,5 procent.
Genombrotten är verkliga – men kräver rätt kontext
Allt detta till trots: forskningen levererar också genuina framsteg. REIN-ramverket minskar hallucinationer med 58–72 procent. Agentbaserade system når specialistnivå inom glaukomdiagnostik. Satellit-AI komprimerar bilder i realtid ombord. Självkörande fordon börjar samarbeta i realtid.
Men genombrotten sker i labb, under kontrollerade förhållanden, med väldefinierade riktmärken. Vägen till tillförlitlig driftsättning i verkliga miljöer är längre än pressreleaser antyder.
Den viktigaste lärdomen från den samlade forskningen är inte att AI är dåligt – det är att vi behöver bättre verktyg för att förstå när AI är redo, var det fallerar och hur vi mäter det på ett rättvisande sätt.
Vår analys
Det som gör denna forskningsvåg strategiskt intressant är inte de enskilda genombrotten – det är mönstret av återkommande grundproblem. Hallucinationer, dold osäkerhet, prestandaras utanför labbmiljö och missvisande riktmärken är inte separata buggar. De är symptom på att vi ännu saknar tillförlitliga sätt att verifiera att ett AI-system faktiskt gör det vi tror att det gör.
För organisationer som planerar AI-satsningar är signalen tydlig: investera lika mycket i utvärderingsinfrastruktur och mänsklig tillsyn som i själva modellerna. Det handlar inte om att bromsa omställningen – det handlar om att göra den hållbar. De företag som bygger robusta verifieringsprocesser idag kommer att ha ett enormt försprång när regleringen skärps och kraven på ansvarsutkrävande ökar. Tekniken är redo för mycket. Men vi behöver vara ärliga om vad "redo" faktiskt betyder.