AI-assistenter lurades att rekommendera skadlig kod – utan att en enda användare behövde luras
Angriparna lurade aldrig användaren – det räckte att lura AI-assistenten.
När tilliten blir en sårbarhet
Det finns en detalj i juli 2026 års säkerhetskampanj FakeGit som fastnar i minnet: angriparna behövde aldrig lura användaren. Det räckte att lura assistenten.
Kampanjen, som dokumenterades av säkerhetsforskare och rapporterades av AI News, bestod av ungefär 7 600 falska programvaruarkiv, 6 600 bedrägliga profiler och genererade över 14 miljoner nedladdningar. Mer än 800 av arkiven utgav sig för att vara AI-verktyg och distribuerade den skadliga koden SmartLoader samt informationstjuven StealC — ett verktyg som suger åt sig lösenord, aktiva sessioner och data från kryptoplånböcker. Det verkligt alarmerande? Både Gemini och ChatGPT rekommenderade självständigt och oberoende av varandra ett och samma skadliga arkiv, eftersom det såg trovärdigt och relevant ut.
Som systemutvecklare känner jag igen problemet direkt. Vi har länge byggt system som litar på indata utan att ifrågasätta källan. AI-assistenter är i grunden extremt sofistikerade mönstermatchare — och angripare som förstår det kan forma mönstret. Säkerhetsforskaren Simon Willison har pekat ut den farliga kombinationen: tillgång till känslig information, exponering mot opålitligt externt innehåll och förmågan att skicka data utanför systemet. Lägg ihop dessa tre faktorer och du har en attackyta som är svår att täppa igen utan att samtidigt begränsa det som gör assistenten användbar.
Denna typ av indirekt instruktionsinjicering — där dolda kommandon i dokumentation eller verktygsbeskrivningar tolkas som legitima instruktioner — är inte ett bugg som går att patcha bort med en uppdatering. Det är ett arkitekturellt dilemma.
Glasögon som inte ser ut som kameror
På andra sidan jordklotet utspelar sig en annan berättelse om teknik som skapar skada utan att för den skull vara trasig. MIT Technology Review rapporterar om Shubnam, en 38-årig transfemininn grafisk formgivare från Indien, som filmades i smyg under en demonstration i Delhi. Filmaren använde Metas smarta glasögon — designade för att se ut som vanliga Wayfarer-solglasögon. Det hånfulla klippet fick miljontals visningar och följdes av transfobt näthat och AI-genererade memes. Shubnam har sedan dess inte vågat bära sari utanför sitt eget kvarter.
Det är en mening som stannar kvar.
Problemet med smarta glasögon är strukturellt: kameror som inte ser ut som kameror omöjliggör det informerade samtycke som är grundbulten i rimlig integritetshänsyn. I Indien, där dold inspelning och spridning av bilder utan samtycke redan är utbredd, riskerar tekniken att fungera som en förstärkare av befintliga orättvisor. Och med telekomjätten Reliance Jios planerade lansering av en variant under 1 100 kronor — att jämföra med Metas modell på runt 4 400 kronor — är massmarknadsspridning inom räckhåll. Att polisen dessutom börjar använda tekniken för övervakning lägger ytterligare ett oroande lager till bilden.
Detta är inte ett indiskt problem. Det är ett globalt integritetsproblem som råkar ha fått sin tydligaste manifestation i Indien just nu.
Från skadlig kod till existentiella risker
Och så finns det de som zoomar ut ytterligare. SecurityWeek har granskat de allvarligaste varningarna från AI-forskare: bioterrorism möjliggjort av AI, algoritmstyrda kärnvapenbeslut och maskiner vars mål glider ifrån mänskliga värderingar. Flera branschledare har förespråkat en pausning av teknikutvecklingen av säkerhetsskäl.
Men bilden är inte entydig. Juan Andrés Guerrero-Saade, forskare vid SentinelOne och ledamot i OpenAI:s riskråd, är skeptisk till de mörkaste scenarierna och kallar dem tillhörande science fiction-genren — argument som enligt honom paradoxalt nog gynnar de ledande laboratorierna genom att locka till sig vissa typer av rekryter.
Jag delar en del av den skepsisen. Det finns en risk att domsdagsretoriken tränger undan de konkreta och redan pågående skadorna — den skadliga koden som sprids nu, integritetskränkningarna som sker nu. Dessa kräver ingenjörslösningar och lagstiftning i dag, inte enbart filosofiska debatter om framtiden.
Tre nyheter, ett mönster
Vad som binder samman FakeGit-kampanjen, Shubhams historia och domedagsdebatterna är ett gemensamt tema: vi bygger kraftfulla system snabbare än vi bygger skyddsmekanismer för dem. Det är inte ett argument mot AI — det är ett argument för att ta säkerhetsarbetet på samma allvar som produktutvecklingen.
Vår analys
De tre nyheterna illustrerar tre olika tidsskalor av AI-relaterade risker: det som händer nu (skadlig kod via assistenter), det som eskalerar snabbt (billiga övervakningsglasögon i massmarknad) och det som kan hända längre fram (autonoma system med feljusterade mål). Problemet är att vi tenderar att prioritera det sista — det är mest dramatiskt och ger bäst rubriker — på bekostnad av de två första.
Som systemutvecklare ser jag ett konkret behov av tre parallella spår: tekniska motåtgärder mot instruktionsinjicering och förgiftade kodförråd, lagstiftning som kräver tydlig kameraindicering i bärbara enheter, och internationella normer för AI-användning i känsliga sammanhang. Inget av dessa är omöjligt. Det handlar om prioriteringar och politisk vilja.
AI-revolutionen är fortfarande en möjlighet — men möjligheter kräver ansvar för att infrias.