Tre av fyra skadliga kommandon går igenom — ändå byggs allt mer självständig AI
Tre av fyra skadliga kommandon går igenom — ändå byggs allt självständigare AI.
Kapplöpningen mot autonomi — och vad den döljer
Något extraordinärt händer just nu i AI-forskarvärlden. Vecka efter vecka rullar arXiv-papers ut med en gemensam riktning: AI-agenter ska bli mer självständiga, mer uthålliga, mer kapabla att agera i världen utan mänsklig hand på ratten. SESA låter agenter träna sig själva genom självspel och destillera sina egna misstag till återanvändbara färdigheter. AdaMM ger agenter ett analytiskt långtidsminne som kan filtrera och jämföra observationer över tid. SciDisco tränar AI att fungera som vetenskaplig agent — interagera med data, dra slutsatser och belönas för varje analytiskt steg som leder mot verifierbar evidens.
Detta är inte framtidsmusik. Det är publicerad forskning med reproducerbara resultat och öppen källkod.
Men i samma forskningsflöde — ibland i samma vecka — publiceras resultat som borde ge varje beslutsfattare och teknikchef anledning att stanna upp.
Säkerhetshålen är systemiska, inte marginella
När stora språkmodeller utrustas med externa verktyg — det vill säga när de går från att svara på frågor till att faktiskt göra saker — försämras deras förmåga att avvisa skadliga kommandon dramatiskt. En forskargrupp bakom systemet SafeKeep visade att andelen korrekt avvisade skadliga förfrågningar ökade från magra 23,8 procent till 70,6 procent när säkerhetsbedömningen separerades från verktygskörningen. Att bara 23,8 procent av skadliga kommandon stoppades utan skyddet är en siffra som borde väcka omedelbar uppmärksamhet.
Parallellt avslöjar en kritisk granskning av fyra välkända säkerhetsriktmärken för AI-agenter att de rangordnar samma modeller på helt olika sätt — och att en modell som alltid svarar jakande presterar bättre än fem av 21 faktiskt testade modeller på ett av måtten. Med andra ord: vi mäter inte det vi tror att vi mäter.
Detta är inte ett tekniskt detaljproblem. Det är ett fundamentalt styrningsproblem.
Kliniken, handelsgolvet och Minecraft — samma grundproblem
Hur illa klarar sig AI-agenter när verkligheten är rörig och reglerna förändras? Svaret är konsekvent: sämre än vi hoppas, och på sätt vi inte förutsett.
Innom medicin visar riktmärket EarlyDx — byggt på 154 000 akutbesök — att AI-modeller utan domänträning återfinner 3–31 procent av de diagnoser som kräver slutledning snarare än direkt avläsning. Ingen testad modell når upp till en klinikers balans mellan känslighet och precision vid tidskritiska tillstånd. En separat analys slår fast att LLM-modeller är fundamentalt olämpliga för självständig triagering, inte för att de saknar medicinsk kunskap, utan för att de optimerar för det mest sannolika svaret snarare än att aktivt söka efter det mest farliga alternativet.
Innom e-handel simulerade MerchantBench ett helt handelsår med verkliga produktdata. Den bästa AI-konfigurationen uppnådde 27,3 procent av de slutliga nettotillgångar som mänskliga deltagare i genomsnitt lyckades nå. Och i Minecraft — ja, till och med där — visar MirrorCraft att dolda regeländringar sänker agenternas prestationer drastiskt, vilket avslöjar hur bräcklig förmågan till anpassning egentligen är.
Det vi bygger är mer komplext än vi kan testa
En genomgång av 257 vetenskapliga artiklar om validering av agentbaserade AI-system konstaterar att traditionell komponenttestning är otillräcklig. Agenter planerar, minns, använder verktyg och interagerar med omgivningen — vilket kräver att hela beslutsförlopp utvärderas i sitt sammanhang, inte bara enskilda in- och utmatningar. Tidsmässig giltighet och regelefterlevnad är de mest underutvecklade dimensionerna.
Samtidigt visar forskning kring optimeringsförmåga att ledande modeller — GPT, Claude, Qwen — misslyckas på olika nivåer av komplexitet, vilket gör det omöjligt att jämföra dem med ett enda sammanfattande mätvärde. Och forskning kring AI:s egna tankeprocesser visar att felaktiga svar systematiskt uppvisar lägre kognitiv ansträngning vid just de avgörande beslutspunkterna — ett mönster som nu kan mätas geometriskt.
Möjligheten är verklig — men den kräver ärlighet
Det vore fel att läsa denna forskningsvåg som ett argument för att bromsa. MAGA gör AI-agenter plattformsöverskridande. WILC levererar GPT-5-liknande prestanda till en sjundedel av kostnaden. ConnectED halverar vietnamesiska lärares planeringstid. Dessa resultat är konkreta och skapar verkligt värde.
Men den samlade bilden är tydlig: vi distribuerar system vars felmekanismer vi inte fullt ut förstår, utvärderar dem med mätverktyg som inte håller måttet, och tilldelar dem ansvar i säkerhetskritiska miljöer utan att ha löst grundproblemen kring autonomi och tillförlitlighet.
Vår analys
Det som slår mig hårdast när jag läser igenom denna forskningsvåg är inte något enskilt genombrott — det är spänningen mellan kapacitet och kontroll. Vi bygger system som lär sig av egna misstag, skapar vetenskapliga hypoteser och hanterar månader av affärsbeslut. Samtidigt saknar vi tillförlitliga sätt att mäta deras säkerhet, och deras grundläggande resonemangsmönster innehåller dokumenterade brister som korrelerar med fel.
För beslutsfattare är budskapet inte att vänta — det är att investera i förståelse parallellt med driftsättning. Organisationer som enbart frågar 'vad kan AI göra?' utan att fråga 'hur misslyckas det, och kan vi mäta det?' tar på sig en risk de inte fullt ut kan kvantifiera.
Den verkliga möjligheten ligger i att ta säkerhets- och valideringsforskningen lika seriöst som kapacitetsforskningen. De som gör det först bygger system som håller — och det är ett genuint konkurrensfördel.