AI används mot AI: Forskare vill stoppa vilseledning innan den sprids
Forskare slåss mot AI-vilseledning med ett nytt vapen – AI självt.
Från brandsläckning till brandskydd
Det finns ett grundläggande problem med hur samhället hanterar AI-genererad desinformation i dag: vi reagerar. Något skadligt sprids, journalister och faktakontrollanter hittar det, plattformar tar ned det — och vid det laget har innehållet redan nått miljontals användare. Det är i grunden ett reaktivt system som försöker hålla jämna steg med en exponentiell kurva.
Två nya studier från arXiv, publicerade inom dagar från varandra, argumenterar på olika sätt för att det är dags att byta spelplan.
Ett ramverk för hela livscykeln
Den första studien presenterar en analysmodell kallad C5 — ett livscykelbaserat ramverk som brytar ned hur vilseledande kampanjer faktiskt fungerar, från skapande och plantering till förstärkning i sociala nätverk. Istället för att fokusera på enskilda falska påståenden i efterhand kartlägger C5 hela kedjan av samordnat oäktigt beteende.
Forskarna kombinerar flera tekniska metoder: maskininlärning för mönsterigenkänning, epidemiologisk modellering lånad från smittspridningsforskning, och avvikelsedetektering i flerdimensionella datarum. Det sistnämnda låter torrt, men är i grunden ett sätt att hitta syntetiskt förstärkt innehåll som skiljer sig tillräckligt mycket från genuint mänskligt beteende för att flaggas automatiskt — innan det hinner bli viralt.
Studien lyfter också fram automatiserade AI-agentsystem som en del av lösningen. Det är en intressant cirkelrörelse: vi använder AI för att motverka missbruk av AI.
Att radera problemet vid källan
Den andra studien tar ett annorlunda men lika lovande grepp. Forskarteamet bakom ramverket GEM ställer sig frågan: vad händer om vi tar bort förmågan att generera skadligt innehåll redan i modellen, innan innehållet ens skapas?
GEM är ett ramverk för så kallad konceptradering, anpassat till moderna bildgeneratormodeller baserade på Rectified Flow — en arkitektur som alltmer ersätter äldre diffusionsmodeller. Tekniken kombinerar banbaserad avlärning med lärarguidad styrning, där en referensmodell skickar både lockande och avstötande signaler för att forma vad den aktiva modellen kan och inte kan producera.
Resultatet är att specifika oönskade koncept — deepfakes av verkliga personer, upphovsrättsskyddat material, skadliga framställningar — kan undertryckas kirurgiskt, utan att modellens övriga förmåga försämras nämnvärt. Det är tekniskt elegant och, om det håller i praktiken, potentiellt mycket viktigt.
Kopplingen till EU:s AI-förordning
Timingen för den här forskningen är knappast slumpmässig. EU:s AI-förordning (AI Act) träder successivt i kraft och ställer konkreta krav på transparens, riskklassificering och ansvarsfull utveckling av AI-system. Generativa modeller som kan producera deepfakes eller massproducera vilseledande text faller i hög grad under förordningens strängaste kategorier.
Men regeltexter är en sak — tekniska verktyg för att faktiskt uppfylla dem är en annan. Det är här de två studierna blir politiskt relevanta. C5-ramverket erbjuder ett systematiskt sätt att övervaka och tidigt upptäcka samordnade desinformationskampanjer, vilket kan stödja de plattformsansvar som AI Act föreskriver. GEM erbjuder ett sätt för modellutvecklare att demonstrera att de aktivt begränsar skadlig kapacitet — inte bara i dokumentation, utan i modellens faktiska beteende.
Detta är precis den typ av tekniska konkretisering som gör att reglering kan gå från papper till praktik.
Proaktivitet som norm, inte undantag
Det som förenar de två studierna är en gemensam övertygelse: att vänta och se är inte längre ett hållbart alternativ. Generativ AI utvecklas för snabbt, och de skador som vilseledande innehåll orsakar — på demokratiska processer, på förtroendet för institutioner, på enskilda personers liv — är för stora för att hanteras i efterhand.
Det kräver inte bara bättre teknik. Det kräver ett förändrat tankesätt hos forskare, plattformsföretag, lagstiftare och inte minst de organisationer som utvecklar och driftsätter generativa modeller. Proaktivitet måste bli norm, inte undantag.
Vår analys
De här två studierna är viktiga var för sig, men tillsammans pekar de mot något större: en mognande forskningsdisciplin som börjar leverera konkreta verktyg, inte bara problemformuleringar.
Det som jag som systemutvecklare finner mest lovande med GEM är den geometriska styrningsmetaforen — att forma modellens beteende längs dess egna beräkningsbanor snarare än att lappa beteendet i efterhand med filter och blockeringslistor. Det är arkitekturellt tänkande på rätt nivå.
Samtidigt är C5 ett påminnelse om att tekniken aldrig kan lösa problemet ensam. Desinformation är till sin natur ett socialt fenomen, och de bästa försvarsmekanismerna måste förstå sociala dynamiker lika väl som algoritmiska sådana.
När EU nu rullar ut AI-förordningen behöver lagstiftarna den här typen av forskning som teknisk grund. Annars riskerar regleringen att bli detaljrik på ytan men tandlös i praktiken. Det vore synd — för ramverken börjar faktiskt bli riktigt bra.