Advokaten som lät ChatGPT skriva juridiken — och domstolen som dömde honom för det

När AI möter rättsystemet — och förlorar

Det är lätt att tala om AI som framtidens verktyg. Det är svårare att förklara varför en erfaren advokat med 40 år på nacken lämnade in ett juridiskt dokument fyllt med påhittade vittnen och rättshänvisningar som aldrig existerat — och varför han inte kontrollerade ett enda påstående innan han skrev under.

Det är ändå precis vad som hände i New Mexico. Enligt Ars Technica har delstatens högsta domstol dömt brottmålsadvokaten Stephen Aarons för domstolsförakt, efter att han matade in rättegångshandlingar i ChatGPT och sedan okritiskt lämnade in det genererade resultatet. Bland de fullständigt uppdiktade personerna i skrivelsen återfanns poliserna Officer Michelle Amarillo och Officer Sanchez — vittnen som aldrig kallats till rättegång, för att de aldrig funnits. Aarons klient, en dömd mördare vars familj anlitat honom för att överklaga en livstidsdom, fick alltså sin sak representerad av ett dokument som mer liknade skönlitteratur än juridik.

— Det är föga tröstande att veta att det är min egen dumhet som för oss samman här, sade Aarons vid utfrågningen.

Det är ett uttalande som borde sättas upp på väggen i varje organisation som just nu rullar ut AI-verktyg utan tydliga rutiner för granskning och ansvar.

Meta: Tre slag på en gång

Men advokatfallet är inte ett undantag — det är ett symptom. Och ingen aktör illustrerar bredden av utmaningarna bättre än Meta, som under de senaste månaderna hamnat i blåsväder på tre separata fronter.

Först: stämningen. En grupp föräldrar och barn i Illinois och Kalifornien har, rapporterar Wired, lämnat in en stämningsansökan i federal domstol i Chicago. De hävdar att Meta i hemlighet utvunnit biometrisk data från bilder på Facebook och Instagram — dels för att träna de generativa bildmodellerna Emu och Muse Image, dels för ett dolt ansiktsigenkänningssystem kallat NameTag, inbyggt i Metas smarta glasögon-app. Appen har laddats ned över 50 miljoner gånger. Systemet var utformat för att omvandla ansikten fångade av glasögonkameran till biometriska signaturer och jämföra dem mot en databas. Meta förnekar att man bygger en central ansiktsdatabas, men har inte svarat på frågan om huruvida NameTag kräver aktivt samtycke.

Därefter: AI-assistenten. The Verge rapporterar om hur Instagram-användaren Kalie Robins publicerade en video där Meta AI — utan hennes vetskap — samlade in information om hennes barn från egna och anhörigas inlägg, föreslog ytterligare frågor om barnens ålder och hemort, och visade bilder på döttrarna — inklusive ett foto hon uppger sig ha raderat för flera år sedan. Meta medgav att funktionen "aldrig borde ha presenterat sådana frågor". Det är en underdrift av rang.

Lagstiftningen svarar

Mitt i allt detta rör sig politiken. Breakit rapporterar att Kaliforniens guvernör Gavin Newsom skrivit under ett lagpaket som förbjuder beroendeskapande funktioner i sociala medier för användare under 16 år — oändlig rullning, rekommendationsalgoritmer och manipulativa aviseringar. Paketet innehåller även skärpta regler för AI-chattrobotar riktade mot unga.

Kalifornien har länge fungerat som amerikansk normsättare inom tekniklagstiftning, och den här typen av beslut brukar snabbt sprida ringar på vattnet. Teknikjättar med säte i Silicon Valley kommer att behöva anpassa sig — och det fort.

Lösningen finns redan — men används inte

Det intressanta är att tekniska svar på flera av dessa problem redan existerar. Kiteworks förvärv av säkerhetsbolaget Bonfy.AI är ett talande exempel: tekniken kan klassificera känsliga uppgifter i realtid och tillämpa säkerhetspolicyer innan data lämnar ett system — oavsett om det är en människa eller en AI-agent som initierar utbytet. Det handlar om att gå från att känna till var känsliga uppgifter finns, till att faktiskt styra vad som händer när de används.

Det är precis den typen av infrastruktur som saknades när Aarons tryckte skicka, när Metas AI frågade om en femårings hemadress, och när NameTag tyst byggde sin databas.

Möjligheterna med AI är enorma. Men vi befinner oss nu i en fas där rättssystem, lagstiftare och allmänhet med rätta kräver att entusiasmen paras med ansvar.