Hon gråter, vädjar om hjälp – och existerar inte: Så massproduceras falska människor för att lura dig på nätet

När medkänsla blir en affärsmodell

Föreställ dig en ung kvinna i cowboykläder som med tårar i ögonen vädjar till dig att stanna kvar i videon och stödja hennes handgjorda bältessömnad. Historien är rörande. Problemet är att den är helt påhittad – och det är just det som är poängen.

Detta är inte ett enstaka undantag utan ett växande industriellt fenomen. Enligt en ingående kartläggning av The Verge florerar dussintals liknande konton på TikTok, Instagram och Facebook, där artificiell intelligens används för att konstruera trovärdiga personas från grunden. Karaktärerna – ofta svarta eller latinamerikanska kvinnor – framställs som kämpande småföretagare för att väcka empati och utlösa köpbeteenden. Produkterna de säljer är i verkligheten massproducerade varor från leverantörer som Shein, sålda till mångdubbelt högre priser via så kallad direktleveranshandel, där mellanhanden aldrig rör varan.

En hundra konton om dagen

Jeremy Carrasco, forskare inom AI-genererade medier och chef för organisationen Riddance.ai, beskriver problemets omfattning med ord som är svåra att ta in: hans team identifierar upp till hundra sådana konton dagligen. Det handlar alltså inte om enstaka bedragare som testar lyckan – det handlar om en skalbar, automatiserad industri.

Sofistikeringen är det som verkligen bör få oss att haja till. Det räcker inte med att titta på videons bildkvalitet eller leta efter pixelfel. Kontona svarar automatiserat på kommentarer, efterliknar afroamerikanskt talspråk för att låta trovärdiga och bygger upp ett socialt bevis som är svårt att ifrågasätta för en vanlig konsument. Carrasco kallar det för medlidandefällor – en medveten strategi där karaktärens identitet är vald för att utlösa maximal empati hos en specifik målgrupp.

Teknikens möjligheter vänds mot konsumenten

Som affärsutvecklare fascineras jag dagligen av hur artificiell intelligens öppnar dörrar som tidigare var stängda. Men det Carrasco och The Verge dokumenterar är baksidan av samma mynt: när tröskeln för att skapa övertygande digitalt innehåll sjunker till nästan noll, sjunker den för alla – inklusive bedragarna.

Detta är inte ett tekniskt problem. Det är ett förtroendeproblem. Och förtroende är den valuta som hela den digitala ekonomin vilar på.

Det som tidigare krävde skådespeleri, film­utrustning och tid kan nu produceras på minuter med en bärbar dator och ett abonnemang på ett bildgenereringsverktyg. Skalbarhet som tidigare var förbehållen välfinansierade aktörer är nu tillgänglig för vem som helst med ett kreditkort och dåliga avsikter.

Vad kan du som konsument göra?

Det goda nyheten – och ja, det finns en – är att medvetenhet är ett effektivt skydd. Här är konkreta åtgärder du kan ta redan idag:

• Granska kontots historik. Hur gammalt är kontot? Stämmer berättelsen överens med tidigare inlägg?
• Sök produkten separat. Gör en omvänd bildsökning på produktbilderna. Dyker samma vara upp på Shein eller AliExpress till en bråkdel av priset?
• Lyssna på språket. Automatiserade svar tenderar att vara generiska och undviker direkta följdfrågor.
• Verifiera via tredje part. Finns det recensioner på oberoende plattformar? Har företaget ett organisationsnummer eller en fysisk adress?
• Stanna upp vid känslomässiga vädjan. Tårar och brådska är klassiska manipulationsverktyg – digitala eller inte.

Platformarna själva – TikTok, Meta och övriga – bär ett tungt ansvar här. Deras reklamintäkter är i hög grad beroende av just det engagemang som dessa konton genererar, vilket skapar en besvärlig intressekollision. Lagstiftare i både EU och USA börjar vakna, men regelverken halkar efter tekniken i en takt som bör oroa oss.

Den som tror att detta är ett marginellt problem för godtrogna konsumenter missar helheten. Det handlar om grundläggande tillit till digitala rum – och den tilliten är långt svårare att återuppbygga än vad den är att rasera.