AI-branschen under attack: När hot utifrån möter fusk inifrån

AI-branschen drabbas just nu av en perfekt storm av säkerhetsbrister som avslöjar hur omogna våra system fortfarande är. Samtidigt som vi ser extraordinär utveckling inom AI-kapacitet, blottläggs fundamentala brister i hur vi hanterar säkerhet, regelefterlevnad och mänskliga incitament.

Hackergruppen TeamPCP har nyligen genomfört den mest omfattande leverantörskedjeattacken mot AI-företag hittills. Över 170 mjukvarupaket från tunga aktörer som TanStack, Mistral AI och UiPath komprometterades i attacken "Mini Shai-Hulud", enligt SecurityWeek. Det som gör denna attack särskilt sofistikerad är att angriparna inte bara förlitade sig på stulna uppgifter – de utnyttjade tre kända säkerhetsbrister och kapade hela CI/CD-pipelines för att få sina skadliga paket att framstå som legitima.

Parallellt har säkerhetsföretaget HiddenLayer upptäckt en förfalskad AI-modell på Hugging Face som utgav sig för att komma från OpenAI. Modellen laddades ner 244 000 gånger innan den upptäcktes och innehöll skadlig kod som stjäl inloggningsuppgifter. Att den nådde toppen av "trending"-listan med 667 gillningar på mindre än 18 timmar visar hur snabbt falsk information kan spridas i AI-ekosystemet.

Men problemet är inte bara externa hot. Enligt Ars Technica ägnar sig Amazon-anställda åt "tokenmaximering" – de automatiserar onödiga uppgifter med företagets AI-verktyg MeshClaw för att artificiellt höja sin användningsstatistik. Detta efter att ledningen infört mål om att över 80 procent av utvecklarna ska använda AI varje vecka.

"Det finns helt enkelt så mycket press att använda dessa verktyg", säger en Amazon-anställd. Även om företaget hävdar att AI-statistiken inte används i prestationsutvärderingar, visar beteendet hur felriktade incitament skapar perversa effekter.

Detta är inte isolerade incidenter – det är symptom på en bransch som växer snabbare än dess säkerhetskultur. Öppna källkodsarkiv som Hugging Face blir sårbara punkter när utvecklare hämtar modeller direkt till företagsmiljöer med tillgång till känslig data. Samtidigt skapar intern press att "visa AI-användning" beteenden som underminerar verklig produktivitet.

Vad som särskilt oroar mig är attackarnas ökade sofistikering. TeamPCP använde OIDC-tokens från GitHub Actions för att kringgå säkerhetskontroller – en teknik som visar djup förståelse för moderna utvecklingsworkflows. Den skadliga koden riktar sig specifikt mot AI-verktygs hemligheter och molntjänsttokens, vilket tyder på att angriparna förstår AI-infrastrukturens värde.

Branschens svar måste vara lika sofistikerat. Vi behöver inte bara bättre teknisk säkerhet utan också mogna processer för hur vi mäter och incitamenterar AI-användning. Amazons tokenmaximering-problem är ett perfekt exempel på Goodharts lag: "När ett mått blir ett mål slutar det vara ett bra mått."

Det positiva är att dessa incidenter tvingar fram en nödvändig mognad. AI-företag investerar nu mer resurser i säkerhet, och plattformar som Hugging Face utvecklar bättre verifieringssystem. Men vi måste erkänna att vi befinner oss i en kritisk fas där branschens säkerhetskultur måste ikappa den tekniska utvecklingen.