Fabricerade källhänvisningar och AI-skräp – nu får slarvet konsekvenser
Advokatbyrå fick betala priset när domaren avslöjade AI-modellens påhittade källhänvisningar.
Ingen kommer undan med slarv längre
Det har länge funnits en outtalad föreställning om att AI-genererat innehåll kan smita igenom utan granskning — att det räcker att trycka på knappen och sedan skicka iväg resultatet. Den illusionen håller på att krossas, metodiskt och i flera riktningar samtidigt.
Ta fallet med advokatbyrån MarcTrent.AI, som enligt Ars Technica marknadsför sig med att använda AI för att "hitta juridiska möjligheter som traditionella byråer missar" och påstår sig öka framgångsgraden i rättegångar med 35 procent. Byrån anlitades av Nikko D'Ambrosio, som stämde ett tjugotal kvinnor efter att de i en Facebookgrupp delat varningar om honom. Stämningen avvisades. Han överklagade ändå. Det beslutet kan bli kostsamt — domaren i USA:s sjunde appellationsdomstol konstaterade att inlagorna innehöll "misstag och påhittade citat" som är typiska kännetecken på missbruk av generativ AI. Byrån som skrös om att inte ens Meta skulle kunna besegra dem fick sig en ordentlig läxa om vad som händer när man låter en språkmodell skriva juridiska dokument utan att kontrollera att källorna faktiskt existerar.
Samma problematik, fast i en annan värld: förtryckningsarkivet Arxiv — där forskare publicerar artiklar innan de genomgått formell vetenskaplig granskning — skärper nu sina regler markant, rapporterar 404 Media via Computer Sweden. Forskare som skickar in texter med uppenbara AI-brister riskerar att stängas av från plattformen i ett helt år. Det handlar om hallucinerade källhänvisningar, felaktiga citat och kvarglömda kommentarer från det AI-verktyg som använts. Arxiv är tydliga: detta är inte ursäktliga misstag. De visar att forskaren inte tagit sitt granskningsansvar på allvar.
Ansvar tar sig olika former
Det är frestande att läsa dessa händelser som rena skräckexempel, men jag ser dem snarare som systemet som börjar fungera. Rättsväsendet reagerar. Forskningsplattformar reagerar. Det är precis så det ska gå till.
På säkerhetssidan händer något mer konstruktivt. Anthropic gör en helomvändning kring sitt cybersäkerhetsprogram Project Glasswing, knutet till AI-modellen Claude Mythos Preview, som anses vara särskilt skicklig på att identifiera säkerhetsbrister. Tidigare har modellens kapacitet hållits under strängt kontrollerade former. Nu får utvalda partners — bland dem Amazon, Microsoft, Nvidia och Apple — dela med sig av sårbarheter, verktyg och källkod vidare till andra företag, myndigheter och projekt med öppen källkod, förutsatt att det sker enligt etablerade principer för ansvarsfull offentliggörelse. Enligt Computer Sweden signalerar detta en vilja från Anthropic att låta fynden komma fler till nytta, utan att tappa kontrollen.
Det är ett intressant balansnummer: hur delar man med sig av kraftfull säkerhetskunskap utan att samtidigt ge angripare en handbok? Ansvarsfull offentliggörelse är en välbeprövad princip inom säkerhetsbranschen, och att Anthropic nu tillämpar den på AI-driven sårbarhetsforskning är ett steg i rätt riktning.
Spårbarhet som infrastruktur
Parallellt med allt detta rullar Google ut sin vattenstämpelteknik SynthID i bred skala — nu med OpenAI, Nvidia, Kakao och ElevenLabs ombord, rapporterar Ars Technica. Tekniken bäddar in osynliga digitala markeringar direkt i bilders bildpunkter, i ljudvågor och i videomaterial. Sedan lansering uppges 100 miljarder bilder och videor ha märkts. Styrkan är att markeringen överlever beskärning, komprimering och rotation — till skillnad från enkel metadatamärkning.
Detta är inte en isolerad nyhet. Det är en del av samma rörelse: vi bygger infrastruktur för spårbarhet och ansvar runt AI-genererat innehåll. Vattenstämplar, domstolsbeslut, plattformsregler — delarna börjar hänga ihop.
Och så finns Disney, som stämts i en grupptalan i federal domstol i Kalifornien efter anklagelser om att företaget sedan april använder ansiktsigenkänning vid Disneylands entréer utan meningsfullt samtycke från besökarna — ofta barn. Enligt The Hollywood Reporter hävdar Disney att insamlad data raderas inom 30 dagar, men stämningen ifrågasätter detta och kräver skriftligt samtycke. Det är ett påminnelse om att AI-etik inte bara handlar om chattbotar och text — det handlar om vad som händer med verkliga människors data i verkliga miljöer.
Vår analys
Det som förenar den här veckans händelser är att AI-ansvar slutat vara en fråga för etikkommittéer och börjat bli en fråga för domare, plattformsadministratörer och tillsynsmyndigheter. Det är, för att vara rak, en hälsosam utveckling.
Under lång tid har diskussionen om AI-reglering varit abstrakt — principiell och framåtblickande. Nu ser vi istället att befintliga strukturer aktiveras: upphovsrättslagstiftning, domstolspraxis, plattformars användarvillkor. Det är inte det mest eleganta sättet att reglera en ny teknik, men det är ett effektivt sätt att skicka tydliga signaler.
Den verkliga lärdomen är att verktyget inte bär ansvaret — användaren gör det. Advokatbyrån som lät AI fabricera citat, forskaren som inte kontrollerade sina källhänvisningar, företaget som samlar in ansiktsdata utan tydligt samtycke — alla hade valet att göra annorlunda. AI:n är inte problemet. Slarvet är problemet. Och nu börjar det kosta.