Så förvandlade kriminella Googles AI till en bedrägerimaskin – 2,5 miljoner falska sms på två veckor

När innovationsverktyget blir ett vapen

Gemini är byggt för att hjälpa människor skapa, tänka och arbeta smartare. Men i händerna på det kinesiska kriminella nätverket Outsider Enterprise förvandlades samma teknik till en industriell bedrägerimaskin. Google har nu inlett ett rättsligt förfarande mot nätverket – och enligt rapporter från både Ars Technica och TechCrunch är skalan på operationen svindlande.

Outsider Enterprise opererade öppet via Telegram, där organisationen erbjöd nätfiske som en färdig tjänst åt kriminella som saknade teknisk kompetens att själva bygga upp bedrägliga infrastrukturer. I sina kanaler delade gruppen detaljerade instruktioner om hur man använde Gemini för att skapa övertygande falska webbplatser – imitationer av Google, YouTube och amerikanska myndigheter som E-ZPass, New Yorks vägtullsystem. Totalt erbjöd nätverket nästan 300 bedrägerimallar, rapporterar Ars Technica.

Siffror som gör intryck

Det är lätt att bli avtrubbad av stora tal i teknikbranschen, men här är det värt att stanna upp. Under en enda tvåveckorsperiod skickade Outsider Enterprise 2,5 miljoner bedrägliga textmeddelanden till Android-användare. Enbart i maj flaggades 55 000 skräppostmeddelanden av användare – det motsvarar drygt två anmälningar per minut, dygnet runt, enligt TechCrunch. Bakom siffrorna finns dessutom 9 000 falska webbplatser, en miljon bedrägliga webbadresser och uppskattade förluster på miljontals dollar för hundratusentals drabbade privatpersoner.

Meddelandena var utformade för att se ut som legitima avisningar om misslyckade paketleveranser eller kontoproblem. Klickade mottagaren på länken hamnade de på en AI-genererad sida, noggrant imiterad för att lura till sig lösenord och kreditkortsuppgifter.

AI mot AI – ett nytt försvarskrig

Det intressanta – och hoppingivande – är hur Google väljer att svara. Företaget betonar att man bekämpar AI-driven brottslighet med egna AI-drivna verktyg. Dessa system identifierar och varnar för misstänkta samtal och meddelanden i realtid och uppges stoppa mer än tio miljarder skräppostmeddelanden varje månad. Google uppger också att man samarbetar med de stora amerikanska teleoperatörerna AT&T, T-Mobile och Verizon för att blockera trafiken vid källan.

Det är ett klassiskt rustningskapp-löpande, men med en viktig skillnad: den här gången tar den anfallne sidan också den juridiska vägen. Stämningsansökan mot Outsider Enterprise syftar inte enbart till ekonomisk upprättelse – den är ett strategiskt drag för att slå ut nätverkets infrastruktur och skicka en tydlig signal till liknande aktörer.

Teknikjättarnas nya ansvar

Jag vill lyfta en fråga som ofta förbises i den här typen av nyheter: vad innebär det att ett teknikföretag stämmer för missbruk av sin egen produkt?

Detta är inte som att stämma någon för upphovsrättsintrång eller avtalsbrott. Google agerar här som en aktiv försvarare av sina användare – och tar på sig ett ansvar som tidigare tillhört myndigheter och brottsbekämpande organ. Det sätter ett nytt prejudikat. Om Gemini kan användas för att skada miljontals människor, och Google väljer att ta juridisk strid mot det, följer logiskt att framtidens AI-tjänster måste byggas med inbyggda försvarsmekanismer från dag ett.

Det är inte ett hot mot innovationen – det är en förutsättning för att innovationen ska förtjäna allmänhetens förtroende. Företag som tar det ansvaret på allvar kommer att stå starkare, inte svagare, i ett samhälle som i allt högre grad förlitar sig på AI i vardagen.

Detta fall visar att AI-omställningen inte är enkelriktad. Den skapar möjligheter för alla – även för aktörer med destruktiva avsikter. Svaret kan inte vara att bromsa utvecklingen. Det måste vara att bygga säkrare, agera snabbare och ta ansvar på riktigt.