Så skapas falska nakenbilder av barn i AI-program – samtalen till stödlinjen fördubblade
Falska nakenbilder av barn skapas med AI – samtalen fördubblade.
Teknikens mörka sida avslöjas
När AI-tekniken för bildmanipulation har blivit tillräckligt sofistikerad och tillgänglig, ser vi nu konsekvenserna av bristfälliga säkerhetsåtgärder. Nudify-appar – verktyg som använder avancerad datorseende för att digitalt "klä av" personer på fotografier – har blivit ett växande problem som särskilt drabbar barn.
Jonas Karlsson, utredare på barnrättsorganisationen Ecpat, beskriver tekniken rakt på sak: "Enkelt uttryckt så är det program eller andra verktyg där du kan mata in vilken bild som helst och göra den antingen till en nakenbild eller en pornografisk bild. De har sällan skydd som hindrar användning på barn."
Tekniskt sett bygger dessa verktyg på samma grundprinciper som vi använder för legitimt bildbehandling – generativ AI och neurala nätverk som tränats att förstå och återskapa mänskliga kroppar. Problemet är inte tekniken i sig, utan hur den har implementerats utan etiska vägräcken.
Explosiv tillväxt av ett växande problem
Siffrorna från Ecpats nya rapport är alarmerande. Antalet samtal till organisationens stödlinje har fördubblats på kort tid, och trenden pekar bara uppåt. "Nu har vi ett par kontakter i veckan kring det här. Samtalen ökar snabbt", konstaterar Karlsson enligt Ny Teknik.
Det som gör situationen extra problematisk är medvetandeklyftan. Rapporten visar att endast en försvinnande liten andel barn vet om att de blivit utsatta, medan organisationen får allt fler samtal om problemet. Det tyder på att omfattningen är betydligt större än vad som syns på ytan.
Internationella exempel från Spanien och USA visar att detta inte är ett isolerat svensk problem – flera barn har samtidigt utsatts för spridning av AI-skapade bilder, vilket skapar omfattande psykologisk skada.
Plattformarnas otillräckliga åtgärder
Trots att Meta har förbjudit nudify-appar att marknadsföra sig på sina plattformar, fortsätter öppen reklam på andra tjänster som Telegram. Marknadsföringen är cyniskt riktad mot unga användare med slogans som "see your crush naked" – en tydlig indikation på målgruppen.
Detta visar på en fragmenterad regulatorisk miljö där åtgärder på en plattform enkelt kan kringgås genom att flytta till mindre reglerade alternativ. Det är ett klassiskt exempel på hur teknikutveckling springer före både etiska riktlinjer och juridiska ramverk.
En ljusning i mörkret
En positiv utveckling som Ecpat noterar är att fler barn nu säger sig vara villiga att vända sig till vuxna för stöd när de drabbas. Det tyder på att medvetenheten om problemet växer, även om det fortfarande finns ett stort mörkertal.
Från ett utvecklarperspektiv är det uppenbart att tekniska lösningar för att förhindra missbruk är möjliga – åldersverifiering, innehållsfiltrering och automatisk igenkänning av barnansikten är alla genomförbara med dagens teknik. Frånvaron av sådana skydd verkar vara ett aktivt val snarare än en teknisk begränsning.
Vår analys
Detta är en väckarklocka för hela teknikbranschen. När avancerad AI-teknik för bildmanipulation blir tillgänglig utan etiska vägräcken, ser vi direkt hur den missbrukas på det mest skadliga sätt tänkbart.
Utvecklingen pekar mot ett akut behov av proaktiva säkerhetsåtgärder redan i utvecklingsstadiet. Som systemutvecklare vet jag att det är betydligt enklare att bygga in säkerhetsfunktioner från början än att lägga till dem i efterhand.
Regulatoriska åtgärder kommer säkert, men de riskerar att komma för sent och vara reaktiva snarare än förebyggande. Branschen måste ta ansvar nu – inte bara genom att blockera redan problematiska applikationer, utan genom att etablera branschstandarder för etisk AI-utveckling.
Den tekniska lösningen finns redan. Vad som saknas är viljan att implementera den.