Hugging Face utnyttjas för sexuella AI-förfalskningar av kvinnor och barn — vem bär ansvaret?
Hugging Face används systematiskt för att skapa sexuella förfalskningar av barn och kvinnor.
När öppenhet blir ett vapen
Hugging Face byggdes med en vacker idé som grund: demokratisera tillgången till AI-forskning. Öppna modeller, öppen kod, ett community där forskare och utvecklare fritt kan dela med sig av sina arbeten. Det är en modell jag personligen värdesätter högt — öppenhet driver innovation framåt på ett sätt som stängda ekosystem sällan klarar av.
Men öppenhet har ett pris. Och just nu betalar oskyldiga människor — framför allt kvinnor och barn — ett fruktansvärt pris för att plattformen saknar tillräckliga skyddsmekanismer.
Enligt en ny rapport från den europeiska ideella organisationen AI Forensics, som rapporteras av The Verge, används Hugging Face i stor omfattning för att skapa så kallade djupförfalskningar av sexuell natur. Det handlar om AI-modeller som digitalt avlägsnar kläder från fotografier av verkliga, identifierbara personer — utan deras samtycke. Undersökningen visar att sju av de nio mest använda bildredigeringsmodellerna på plattformen utan nämnvärd svårighet utförde just detta när de testades.
Det är inte ett kantfall. Det är ett systematiskt missbruk, mitt i det öppna.
Tekniken är inte problemet — distributionen är
Som systemutvecklare är jag noga med att inte skjuta på tekniken i sig. Bildmanipulering, diffusionsmodeller, avancerad bildredigering — det är kraftfulla verktyg med legitima användningsområden inom allt från film och spelutveckling till medicinsk visualisering. Tekniken är inte ond.
Det som är problematiskt är när distributionsplattformar saknar mekanismer för att skilja på legitim användning och direkta övergrepp. Det finns en välbekant parallell från webbutvecklingens historia: fildelningsplattformar på 2000-talet lärde sig på hårt sätt att "vi tillhandahåller bara infrastrukturen" inte räcker som juridiskt eller moraliskt försvar när plattformen aktivt möjliggör skada i stor skala.
Hugging Face befinner sig nu i exakt den positionen.
Plattformsansvar i praktiken
Kritikerna, däribland AI Forensics, menar att Hugging Face bär ett både moraliskt och potentiellt rättsligt ansvar för de modeller som distribueras via dess tjänster. Det är en rimlig ståndpunkt. En plattform som aktivt indexerar, kategoriserar och tillgängliggör modeller är inte en passiv mellanhand — den är en aktiv distributör.
Jämförelsen med GitHub haltar något på just den här punkten. GitHub har sedan länge policyer mot skadlig kod och agerar på anmälningar. Hugging Face har, enligt rapporten, ännu inte vidtagit några genomgripande åtgärder mot de aktuella modellerna.
Det är anmärkningsvärt. Inte minst eftersom EU:s AI-förordning, som nu börjar träda i kraft i olika steg, ställer tydliga krav på leverantörer av AI-system kring just ansvar, spårbarhet och skydd för utsatta grupper. Modeller som används för att producera icke-samtyckt sexuellt material av barn är inte en gråzon — det är ett område där lagstiftningen redan är tydlig i de flesta jurisdiktioner.
En rörelse i rätt riktning — men för långsam
Jag vill vara tydlig: jag tror på öppen AI-forskning. Jag tror på Hugging Faces grunduppdrag. Men trovärdighet inom öppen källkod kräver att man tar ansvar för ekosystemets baksidor, inte bara hyllar dess framgångar.
Det finns tekniska lösningar att ta till. Automatiserad klassificering av modeller baserat på användningsområde, striktare krav på dokumentation och syftebeskrivning, tydligare rapporteringsmekanismer och snabbare hantering av anmälningar. Inget av detta är banbrytande ingenjörskonst — det är disciplinerat plattformsarbete.
Frågan är om viljan finns. Och om den inte finns frivilligt, tyder mycket på att lagstiftarna — i EU och på fler håll — snart kommer att svara på den frågan åt dem.
Vår analys
Det här är en av de svåraste frågorna i hela AI-omställningen: hur balanserar vi öppenhetens enorma värde mot de skador den kan möjliggöra? Rapporten från AI Forensics är ingen isolerad händelse — den är en del av ett mönster där plattformar konsekvent underskattar hur snabbt kraftfulla verktyg kan missbrukas.
Jag tror att vi kommer att se ökad reglering av modellförråd som Hugging Face, och att det i grunden är rätt väg. Det behöver inte innebära stängda ekosystem — det innebär ansvarsfull öppenhet. Plattformar som vill kallas för infrastruktur måste också acceptera infrastrukturens ansvar.
På längre sikt är den viktigaste frågan inte om Hugging Face tar bort enstaka modeller, utan om branschen förmår bygga normer och tekniska skyddsmekanismer som gör öppen AI-distribution förenlig med grundläggande mänsklig värdighet. Det är fullt möjligt — men det kräver att vi slutar behandla ansvarsfrågan som ett störningsmoment och börjar se den som en kärnfunktion.