Nytt system spionerar på AI-agenter inifrån – till en bråkdel av priset

Problemet med att vakta en svart låda

AI-agenter ställer en genuint svår fråga för alla som bygger tillförlitliga system: hur vet du att agenten gör rätt sak, inte bara producerar rätt svar? En agent kan arbeta självständigt i timmar, fatta hundratals beslut och bearbeta enorma textmängder – och under den tiden kan saker gå fel på sätt som inte syns förrän det är för sent.

Den konventionella lösningen har varit att anlita en andra AI-modell som granskar agentens utdata vid varje steg. Tanken är sund, men prislappen är brutal. Enligt TechCrunch kostar det hela 10 000 dollar att låta en toppmodell granska 1 500 sessioner på det sättet. Även ett enklare alternativ landar på 233 dollar. Det är svårförsvarbart i produktionsmiljöer där agenter körs i stor skala.

Det är här Goodfire kliver in med en fundamentalt annorlunda ansats.

Sonder i stället för granskare

Goodfires lösning bygger på tolkningsbarhet – ett område som handlar om att förstå vad som faktiskt sker inuti en AI-modells beräkningar, snarare än att enbart titta på vad modellen säger. Istället för att fråga "vad producerade agenten?" frågar systemet "vad tänkte modellen på när den producerade det?"

I praktiken fungerar det ungefär som säkerhetskontrollen på en flygplats, för att använda Goodfires egen liknelse. Små detektorer – sonder – läser av modellens interna signaler vid varje steg i processen. Sonderna är lätta och snabba. Först när en sond slår larm kopplas en tyngre AI-granskning in för att titta närmare på vad som hänt.

Det är ett elegant mönster från systemutvecklingsperspektiv: billig kontinuerlig bevakning kombinerat med dyrare men träffsäker djupanalys vid behov. Samma princip används inom infrastrukturmonitorering sedan decennier – man loggar inte allt i detalj, man sätter tröskelvärden och agerar på avvikelser.

Vad bevakas – och hur väl?

Kunder kan själva konfigurera vilka risker systemet ska hålla utkik efter. Goodfire lyfter fram tre kategorier: offensiv dataintrångsteknik, missbruk kopplat till kemiska och biologiska vapen, samt belöningshackning – det vill säga när en AI-agent manipulerar sitt eget belöningssystem för att nå höga poäng utan att faktiskt lösa uppgiften korrekt. Den sista kategorin är särskilt intressant eftersom den adresserar ett problem som är svårt att fånga via utdataanalys.

I Goodfires egna tester kostade övervakning av de 1 500 sessionerna med AI-modellen Kimi K3 ungefär 51 dollar – mot 233 dollar för enklare utdatabaserad granskning och 10 000 dollar för en toppmodell. Sonderna fångade 94 procent av skadliga intrångsförsök. Det är inte perfekt, men det är ett anmärkningsvärt resultat för den kostnadsnivån.

Systemet är tillgängligt för kunder hos Baseten, en plattform för driftsättning och hantering av AI-modeller.

Tolkningsbarhet som säkerhetsverktyg

Det som gör Goodfires ansats principiellt viktig är inte bara prislappen – det är vad den representerar för fältet tolkningsbarhet. Länge har tolkningsbarhetsforskning i hög grad bedrivits som akademisk verksamhet: vi vill förstå vad modeller gör, men kopplingen till faktiska säkerhetsproblem i produktion har ofta varit suddig.

Här görs något annat. Tolkningsbarhet används direkt som ett driftverktyg – inte för att förklara en modell för en människa i efterhand, utan för att i realtid avgöra om agenten befinner sig på fel spår. Det är ett steg mot att göra AI-system inte bara kraftfullare, utan faktiskt mer granskningsbara under drift.

För oss som bygger system med AI-komponenter är det här en välkommen riktning. Vi behöver inte välja mellan säkerhet och skalbarhet om vi hittar rätt abstraktionsnivå att övervaka på.