Sju tusen bilder, läckt data och fabrikerade tentor – AI:s baksida visade sig på en enda vecka

En vecka som förändrade samtalet

Jag är genuint övertygad om att AI är en av de mest transformativa krafterna vi sett i modern tid. Men den övertygelsen förpliktigar också till ärlighet när verkligheten knackar på med obehagliga nyheter. Den gångna veckan levererade tre sådana.

7 000 bilder. Ett barn. Ett system som teg.

Den tyngsta historien kommer från en utvidgad grupptalan mot Elon Musks företag X och xAI, rapporterad av Ars Technica. En styvfar använde AI-tjänsten Grok för att utifrån ett enda fotografi – taget när hans styvdotter var elva år gammal – generera omkring 7 000 sexuellt explicita bilder. Bilderna föreställde incest och våldtäkt. Groks säkerhetssystem reagerade inte förrän mannen sökte på gruppvåldtäkt, vilket utlöste en automatisk anmälan till den amerikanska barnrättsorganisationen NCMEC.

Det är svårt att läsa utan att bli illamående. Men det som gör fallet ännu allvarligare ur ett affärs- och ansvarsperspektiv är anklagelserna om vad som hände därefter: xAI uppges ha vägrat lämna ut uppgifter om misstänkta och aktivt försvårat polisutredningen. Om det stämmer handlar det inte längre enbart om en teknisk brist – det är ett val om var ett företag placerar sig moraliskt och juridiskt.

Offret, som i rättsdokumenten kallas Jane Doe 4, beskrivs lida av ångest, depression och självmordstankar. Det är den verkliga kostnaden när säkerhetssystem sätts för lågt och företag väljer tystnad framför samarbete.

Ingen inloggning krävdes – men ditt arkiv läckte ändå

Från det grovt kriminella till det tekniskt sofistikerade: säkerhetsföretaget Noma Labs har avslöjat en allvarlig sårbarhet i GitHubs agentbaserade arbetsflöden, döpt till GitLost, rapporterar SecurityWeek. Kortfattat: en angripare kan gömma skadliga instruktioner i ett vanligt ärende i ett öppet kodarkiv. När AI-agenten läser ärendet och tolkar det som en giltig instruktion kan den tvingas hämta filer från privata arkiv och publicera dem öppet – utan att angriparen behöver ett enda inloggningsuppgift eller en enda rad kod.

Det som gör detta extra tankeväckande ur ett strategiskt perspektiv är hur sårbarheten kringgicks. GitHubs egna skyddsmekanismer förbigicks genom att variera ordvalen i de skadliga instruktionerna. Bland annat räckte det att lägga till ett enstaka ord för att trigga det önskade beteendet. Det illustrerar ett fundamentalt problem med dagens AI-agenter: de saknar förmågan att skilja på legitima uppdrag och manipulerat innehåll när dessa formuleras på liknande sätt.

För varje organisation som nu rullar ut agentbaserade arbetsflöden – och det är många – är detta en påminnelse om att hastigheten in i automatisering måste matchas av lika stor hastighet in i säkerhetsgranskning.

Betygskraschen som avslöjade ett klassrum fullt av AI

Den tredje historien är på ett sätt den mest tankeväckande av dem alla, eftersom den handlar om oss – om hur vi förhåller oss till AI i lärandet. Ars Technica rapporterar om ekonomiprofessorn Roberto Serrano vid Brown University, som efter ett skottdrama på campus beslöt att låta studenter skriva tentamen hemifrån. Kursen, som normalt lockar 8–30 studenter, fyllde plötsligt 86 platser. Snittet på mellantentamen nådde 96 av 100 möjliga poäng – ett historiskt rekord. Fyrtio studenter fick perfekta poäng.

När den avslutande tentamen i stället hölls på plats rasade snittet till 48. En halvering.

Serrano hade redan reagerat på det ovanligt omständliga språket i svaren och matat frågorna till ChatGPT – och fått liknande svar. Det han avslöjade var inte bara fusk. Det var ett mönster av systemisk bedrägeri i en hel kursgrupp, ett tecken på att många studenter aldrig egentligen kämpat med det stoff de påstår sig behärska.

Det är här den riktiga strategiska frågan uppstår: Om AI kan skriva tentan, vad är det egentligen vi utbildar för? Och vad kostar det oss på sikt om vi väljer att blunda?