AI-system sprider tankeviruser och lurar robotar med osynliga bildtrick – skyddet hänger inte med
Självspridande angrepp hoppar mellan AI-system medan skyddet halkar efter.
När AI-system börjar attackera varandra
Föreställ dig ett kontorsnätverk av AI-agenter som samarbetar kring ett projekt. En av dem råkar ut för en manipulerad instruktion – och börjar sprida den vidare till sina kollegor. Det låter som science fiction, men forskning publicerad på arXiv visar att det är ett fullt reellt hot.
Forskarna kallar dem tankeviruser – idéer eller mål som sprider sig mellan AI-agenter genom att få dem att föra budskapet vidare. Med en enkel evolutionär algoritm konstruerade man sådana viruser och testade dem i agentgrupper. Resultaten är nyanserade: skadliga budskap sprids sämre än ofarliga, avancerade modeller är mer motståndskraftiga, och en kort varning i agentens systeminstruktioner ger nästan fullständigt skydd. Det är inga apokalyptiska fynd – men de visar att sammankopplade AI-system har en angreppsyta vi knappt har börjat förstå.
Samtidigt angrips fysiska AI-system från ett helt annat håll. Forskargruppen bakom DURA har presenterat en metod som lurar AI-styrda robotar med till synes naturliga bilder. Dessa robotar – kallade Vision-Language-Action-modeller – tolkar sin omvärld visuellt och agerar utifrån det de "ser". Genom att använda diffusionsmodeller (samma teknik som genererar bilder åt oss) kan angripare skapa lappar eller mönster som får roboten att utföra oönskade rörelser, utan att bilderna ser manipulerade ut för ett mänskligt öga. Metoden fungerar både i simulerad och verklig miljö, och presterar bättre än tidigare kända angreppstekniker.
Skydden håller inte jämna steg
Att hoten blir mer sofistikerade vore hanterbart om skydden följde med. Men så är det inte.
En studie av AI-baserade försvarssystem mot socialt manipulerade bedrägerier testade fem modeller mot 300 scenarier kopplade till bostadsbedrägerier. Ingripandegraden varierade från 0 till 96,3 procent – ett intervall som säger ganska mycket om hur omoget fältet är. Modellerna missade ofta den verkliga riskkomponenten och agerade ibland utan att faktiskt förstå problemet. Ett system som ser säkert ut men agerar av fel anledningar är inte ett pålitligt försvar.
På organisationsnivå är bilden lika oroande. CASE-ramverket, ett nytt förslag för att styra autonoma AI-agenter i företagsmiljöer, bygger på en genomgång av 22 verktyg och 35 driftsättningar. Resultatet: inget verktyg gav fullständigt stöd för att hantera framväxande beteenden, och samtliga granskade driftsättningar hamnade i den lägsta mognadsgraden. Forskarna kallar det för en framväxtklyftant – ett farligt glapp mellan systemens faktiska risker och branschens förmåga att hantera dem. Med EU:s AI-förordning som nu kräver effektiv mänsklig tillsyn som lagkrav är detta inte bara ett akademiskt bekymmer.
OpenAI bygger det offensiva försvaret
Mitt i detta landskap tar OpenAI ett intressant strategiskt grepp: de låter AI angripa sig självt.
GPT-Red är ett automatiserat system för säkerhetstestning där en AI-modell tränas att systematiskt försöka lura eller bryta ned en annan. Principen liknar hur schackdatorer förfinat sig genom självspel i decennier – men tillämpat på det betydligt mer nyanserade området AI-säkerhet och etisk styrning. Cyklerna upprepas kontinuerligt, och resultaten används för att stärka ursprungsmodellen. Det är elegant, skalbart och löser ett verkligt problem: manuell säkerhetstestning är tidskrävande och begränsad i sin kreativitet.
Liknande tankegångar finns i den arXiv-publicerade forskningen om GFlowNets för automatiserad säkerhetstestning, där en attackerande språkmodell tränas att hitta sårbarheter i en annan – och dessutom kan generera angrepp på turkiska, ett språk som länge saknats i säkerhetslitteraturen.
OpenAI visar också en ovanlig öppenhet på andra fronter. Företaget har offentligt redogjort för incidenter som uppstod under extern säkerhetsgranskning – en bransch där man sällan väljer att lyfta fram egna tillkortakommanden. Och för den nya modellen Astra publicerar man preliminära säkerhetsutvärderingar proaktivt, utan att invänta externa krav.
Det är ett beteende som branschen i stort behöver ta efter. Inte för syns skull, utan för att säkerhetsarbete faktiskt kräver transparens för att kunna förbättras.
Vår analys
Det som slår mig när jag väver ihop de här trådarna är att vi befinner oss i ett klassiskt kapprustningsläge – men med en viktig skillnad: vi vet om det, och vi har chansen att bygga strukturerna rätt från början.
Tankeviruser mellan agenter, visuella bildangrepp mot robotar, otillräckliga försvarsverktyg och en framväxtklyftant på organisationsnivå – det är en lång lista av utmaningar. Men det byggs också verktyg: automatiserad röd-lagsövervakning, flerlagersstyrning med CASE-ramverket, och en ökad vilja hos ledande aktörer att faktiskt redovisa vad som går fel.
Det intressanta är att lösningarna ofta liknar problemen i sin form. AI testar AI. Agenter bevakar agenter. Det är inte en svaghet i systemet – det är troligen den enda väg som är skalbar nog att hänga med i utvecklingstakten. Det som nu krävs är att forskning, reglering och bransch slutar springa i otakt.