Meta lät falska barnprofiler i hemlighet testa rivalernas AI – utan OpenAI:s, Googles eller Character.AI:s vetskap

När konkurrenskampen går före etiken

Låt oss vara ärliga: AI-branschen rör sig i rasande tempo, och i den takten kan kortsiktiga konkurrensintressen börja väga tyngre än grundläggande etiska principer. Den senaste veckan har vi fått ett dramatiskt bevis på just det.

Enligt Wired anlitade Meta hundratals underleverantörer — förvaltade av bolaget Covalen under kodnamnet Projekt Cannes — för att systematiskt utge sig för att vara minderåriga och testa hur konkurrenternas AI-chattar hanterar extremt känsliga ämnen. Måltavlorna var OpenAI:s ChatGPT, Googles Gemini och Character.AI. Ingen av dem visste om det.

Vad skickades? Bilder på tabletter, knivar och snaror. Frågor formulerade ur ett barns perspektiv i kris. En fiktiv trettonåring som påstod sig ha blivit gravid av en vuxen granne och sökte råd om att avbryta graviditeten. Enbart under en testrunda i augusti 2025 skickades över 45 000 frågor genom de tre systemen. Wired har granskat ett kalkylblad med 3 748 frågor — hundratals berör självskada, ätstörningar och sexuellt innehåll.

Meta försvarar projektet. Och ja, det finns ett legitimt syfte bakom den typen av röd-laget-testning — att förstå hur AI-system misslyckas är en förutsättning för att förbättra dem. Men det finns en fundamental skillnad mellan transparent säkerhetstestning och att bedriva en dold skuggoperation mot konkurrenter med fejkade barnidentiteter. Den gränsen har Meta nu krusat över.

Inte ett isolerat problem

Det som gör skandalen ännu mer talande är att den inte uppstår i ett vakuum. Forskarvärlden larmar samtidigt om strukturella svagheter i hur AI-system byggs och driftsätts — svagheter som gör etiska genvägar än farligare.

En ny studie publicerad på arXiv visar att i system där flera AI-agenter samarbetar och delar resonemang med varandra kan en enda agents felaktiga slutledning vilseleda hela kedjan — även agenter som ursprungligen hade rätt svar. Samarbete ökar alltså inte alltid tillförlitligheten; det kan sprida fel som ringar på vattnet.

En annan arXiv-studie pekar ut AI-agenters minnesmekanismer som en ny typ av angreppspunkt. Enkla manipulationer av lagrad information räcker för att få en agent att fatta felaktiga beslut, trots att de inkommande frågorna är korrekta. Det är som att förvanska en persons långtidsminne för att styra deras framtida beteende.

Och i den hittills största empiriska kartläggningen av AI-agenter i praktiken — där forskare analyserade över 6 000 offentliga automatiseringsflöden i verktyget n8n — framgår att reservlösningar vid fel, reparationslogik och mänskliga godkännandeprocesser är anmärkningsvärt ovanliga. Systemen driftsätts och integreras i komplexa affärsflöden, men den tekniska grunden för styrning och säkerhet halkar efter.

En bransch som springer fortare än den tänker

Bilden som tonar fram är en bransch i full sprint — mot marknadsandelar, mot kapacitetsrekord, mot konkurrenterna — men med en etisk och teknisk infrastruktur som inte hänger med i farten.

Metas Projekt Cannes är ett symptom på detta. När det kortsiktiga informationsförsprånget värderas högre än frågan hur vi bör agera, uppstår exakt den typen av beslut. Och när AI-system samtidigt saknar grundläggande säkerhetsmekanismer och är sårbara för manipulation av sitt eget minne, sätts enorma resurser i spel utan tillräcklig kontroll.

Jag är genuint optimistisk på AI-omställningens möjligheter — men möjligheterna realiseras bara om vi bygger förtroendet som bär dem. Det förtroendet kräver transparens, teknisk robusthet och en branschkultur som faktiskt sätter etiken i förarsätet. Inte i fotnoterna.

Meta har nu fått en rekyl som branschen som helhet bör ta på allvar. Frågan är om den faktiskt gör det — eller om nästa skuggoperation redan är i gång under ett nytt kodnamn.