AI missbrukas i stor skala — och samhällets försvar halkar efter

När vardagsverktygen blir vapen

Det finns något djupt obehagligt i att de plattformar vi använder dagligen för att kommunicera med kollegor och kunder — Microsoft Teams och Cisco Webex — nu rapporteras ha blivit redskap för organiserade bedrägerier. Enligt Wired utnyttjar kriminella nätverk dessa legitima affärssystem för att lura framför allt kinesiska användare att föra över stora penningsummor. Det är ett klassiskt angreppssätt i ny förklädnad: missbruka förtroende, klä det i igenkänning, och låt offret sänka garden.

Det som gör detta särskilt allvarligt ur ett affärsperspektiv är att det underminerar tilltron till de digitala arbetsverktyg som moderna organisationer är helt beroende av. När mejlen redan är skeptikernas skottavla och telefonsamtal allt oftare upplevs som misstänkta, har chatt- och videoverktyg fyllt ett viktigt förtroendegap. Det förtroendet håller nu på att erodera.

AI som dubbeleggat svärd

Ännu mer alarmerande är rapporteringen kring hur avancerade AI-modeller missbrukas i industriell skala. Wired rapporterar att Anthropics modell Claude nu används brett — allt från att understödja hackerattacker till att söka information om biologiska vapen. Det är en påminnelse om att varje kraftfullt verktyg har en skuggsida, och att de företag som bygger framtidens AI bär ett tungt ansvar för hur deras teknik faktiskt används.

Samtidigt avslöjas att Meta misslyckats med att stoppa AI-genererat övergreppsmaterial mot barn på sina plattformar. Det är inte en teknisk detalj — det är ett systemfel med mänskliga konsekvenser av värsta slag.

Jag är genuint entusiastisk inför vad AI kan åstadkomma. Men entusiasm utan ansvarstagande är lättsinnighet. Den här veckan påminner oss om att skalbarhetens välsignelse — att AI kan göra otroliga saker snabbt och billigt — också gäller för dem med onda avsikter.

Övervakningens dolda räckvidd

En annan nyhet som förtjänar mer uppmärksamhet än den kanske fått är avslöjandet kring övervakningsföretaget Flock. En grupp aktivister och säkerhetsforskare monterade ned en av företagets kameror och laddade ned dess data. Vad de hittade var talande: under loppet av bara 21 dagar hade kameran fotograferat 1,6 miljoner bilder på 50 000 fordon.

Därtill avslöjar Wired att Flocks AI-baserade sökverktyg — som används aktivt av polisen — kan söka efter personer baserat på skriftliga beskrivningar och övervaka flera kameror samtidigt. Det är teknologi med tydliga nyttoanvändningar inom brottsbekämpning, men det väcker lika tydliga frågor om var gränsen går mellan säkerhet och massövervakning. Vem har insyn? Vem sätter gränserna? Och vem granskar granskarna?

Försvaret måste hålla jämna steg

Det positiva i allt detta — och ja, det finns ett positivt — är att hoten nu är synliga. Vi vet att chattplattformar missbrukas. Vi vet att AI-modeller kan användas destruktivt. Vi vet att övervakningsteknologi samlar mer data än de flesta förstår. Kunskap om ett problem är alltid det första steget mot att lösa det.

USA och Mexiko tillkännager dessutom ett gemensamt initiativ kring drönarsäkerhet, vilket signalerar att stater börjar förstå att det digitala och det fysiska hotlandskapet allt mer flätats samman. Det är rätt riktning.

Företag, myndigheter och plattformsägare behöver nu accelerera sitt säkerhetsarbete med samma hastighet som hoten utvecklas. Det handlar inte om att bromsa AI-utvecklingen — det handlar om att bygga robusta skydd parallellt med innovationen. De två går att kombinera, och de måste kombineras.