Mer än hälften av företagen vet inte vad deras egna AI-agenter gör

Kapplöpningen utan karta

Jag förstår kraften i konkurrenstrycket. Som affärsutvecklare har jag sett det många gånger förr – när en ny teknologi slår igenom vill alla vara först. Men det finns en avgörande skillnad mellan att vara snabb och att vara hänsynslös. Och just nu rör sig alltför många organisationer farligt nära den senare kategorin.

Enligt Computer Sweden varnar branschanalytikern Marlin för att de mönster han ser idag påminner om de värsta it-haverier han bevittnat under sin karriär. Hans liknelse är träffsäker: en AI-agent är inte ett långkok du sätter på och glömmer. Det är ett autonomt system som fattar beslut, agerar och – om det inte övervakas – kan orsaka skada i en skala som manuella processer aldrig kunnat uppnå.

Siffrorna som styrningsleverantören True Foundry presenterat efter en undersökning av över 200 AI-chefer i stora företag är häpnadsväckande: 54 procent av organisationerna kan inte fullt ut spåra vad deras egna agenter gör. Nästan lika många – 56 procent – saknar en centraliserad styrningsfunktion överhuvudtaget. Det är inte försiktigt framåtblickande. Det är att köra i 130 kilometer i timmen i dimma.

Det nya felsökningsproblemet

En av de mer tekniskt intressanta – och oroande – insikterna kommer från Adel El Hallak, vice vd för AI-programvara på Nvidia. Han pekar på något som många verksamhetsledare inte förstår förrän det är för sent: AI-agenter bryter mot alla traditionella metoder för kvalitetssäkring.

I vanlig programvara kan du följa en bugg direkt i koden. Du ser vad som hände, var, och varför. Med AI-agenter finns sanningskällan i körningsloggarna – i det som faktiskt skedde under körning, inte i det som programmerarna skrev. Det innebär att felsökning kräver helt nya kompetenser, nya verktyg och framförallt en ny mentalitet kring vad det innebär att ha kontroll över ett system.

Detta är inte ett akademiskt problem. Det är en affärsrisk av första rang.

Möjligheten som döljer sig i krisen

Här vill jag vara tydlig: jag är genuint entusiastisk över vad AI-agenter kan åstadkomma. Automatisering av komplexa arbetsflöden, snabbare beslutsfattande, skalbarhet som tidigare var otänkbar – potentialen är enorm. Men just därför är styrningsfrågan så kritisk. Vi riskerar att kväva en av de mest transformativa teknologierna i modern tid om de tidiga haverierna blir för många och för synliga.

Den organisation som idag investerar i robust uppföljning, tydliga ansvarsstrukturer och genomtänkta rutiner för insyn – den organisationen bygger inte bara säkerhet. Den bygger förtroende. Och förtroende är den verkliga konkurrensfördelen i en värld där alla snart har tillgång till samma grundläggande AI-verktyg.

Vem bär ansvaret?

Frågan om ansvarsskyldighet är ännu olöst. När en AI-agent fattar ett felaktigt beslut som kostar ett företag pengar, skadar en kund eller bryter mot lagar – vem är då ansvarig? Systemutvecklaren? Verksamhetschefen som godkände driftsättningen? Styrelsen som prioriterade hastighet framför styrning?

Dessa frågor saknar idag tydliga svar, och det är ett juridiskt och etiskt vakuum som vi inte har råd att ignorera länge till. Europeiska AI-förordningen ger en del ramar, men reglering kan aldrig ersätta det grundläggande ledarskapsansvaret att förstå vad man sätter i produktion.

Min uppmaning till varje VD och styrelsemedlem som läser detta: ställ en enkel fråga till din AI-ansvarige – kan vi spåra varje beslut våra agenter fattar, och vet vi vem som är ansvarig om något går fel? Om svaret är nej, eller tveksamt, är det dags att stanna upp innan kapplöpningen tar er till fel plats.