Döda piloters röster återskapades med AI – och ingen lag kunde förhindra det

Tre tecken på att AI-utvecklingen har sprungit ifrån spelreglerna

Jag är genuint entusiastisk inför vad AI kan åstadkomma. Men entusiasm utan ansvar är inte ledarskap — det är vårdslöshet. Och just nu ser vi tre konkreta exempel på vad som händer när transformation sker snabbare än de strukturer som ska hålla den i schack.

Döda kan inte ge samtycke

När den amerikanske youtubekanal-profilen Scott Manley nyligen påpekade på det sociala nätverket X att ett spektrogram från en olycksutredning tekniskt sett går att omvandla tillbaka till ljud — tog det inte lång tid innan nätanvändare kombinerade bilddata med officiella utskrifter och använde AI-verktyg för att återskapa röster från piloter som omkom i en flygkrasch. Röster från döda människor, återskapade utan anhörigas vetskap eller samtycke, och spridda öppet på internet.

Den amerikanska myndigheten NTSB — som ansvarar för utredning av transportolyckor — tvingades tillfälligt stänga sin offentliga databas, enligt TechCrunch. Myndigheten hade följt lagen till punkt och pricka: faktiska röstinspelningar från cockpit är förbjudna att publicera. Men ingen hade förutsett att ett spektrogram, en ren bildlig frekvensrepresentation, skulle räcka för att AI-verktyg skulle kunna rekonstruera det ursprungliga ljudet.

Det är ett läroboksexempel på vad teknologer kallar ett oavsiktligt informationsläckage — men för anhöriga till offren är det inte ett tekniskt problem. Det är en kränkning.

Din bil vet mer om dig än din läkare

Mozillastiftelsen granskade 25 biltillverkare och gav samtliga varningsetiketten "Integritet ingår inte". Det var första gången i organisationens historia att en hel produktkategori fick underkänt av alla granskade märken. Och ändå fortsatte affärerna som vanligt.

Bilarna samlar in långt mer än färdvägar och bränsleförbrukning. Enligt Mozillas rapport hämtas data om hälsotillstånd, musikvanor, politiska övertygelser och sexualliv — från bilens inbyggda tjänster, tillhörande mobilappar och tredjepartskällor som Sirius XM och Google Maps. Integritetsanalytikern Jen Caltrider, som ledde undersökningen, sammanfattar det träffsäkert: de tar all insamlad information och drar slutsatser om vem du är som person. Sådant de flesta bilister aldrig tänker på när de sätter sig bakom ratten.

Att oron är välgrundad bekräftas av ett juridiskt avgörande: biltillverkaren GM har nyligen betalat drygt 100 miljoner kronor i böter efter att ha sålt kördata från sin tjänst OnStar — insamlad från hundratusentals bilister i Kalifornien — till datamäklare utan förarnas vetskap eller samtycke. Det är inte en hypotetisk risk. Det har redan hänt.

Siffrorna som inte stämmer

Som affärsutvecklare vet jag hur viktigt det är med trovärdiga nyckeltal. Utan dem fattar investerare beslut i blindo — och hela marknaden snedvrids. Därför är det alarmerande när TechCrunch avslöjar att uppblåsta intäktssiffror har blivit branschpraxis bland AI-startups.

Kärnan i problemet är att det välkända måttet ARR — årligt återkommande intäkter från aktiva, betalande kunder — allt oftare ersätts av CARR, det vill säga kontrakterade men ännu inte aktiverade intäkter. Och sedan presenteras CARR helt enkelt som ARR i kommunikationen med investerare. En anonym riskkapitalist berättar för TechCrunch att han sett bolag där det kontrakterade värdet är 70 procent högre än de faktiska intäkterna — och att en stor del av avtalen aldrig leder till betalning.

Scott Stevenson, grundare av det juridiska AI-bolaget Spellbook, kallade det öppet för ett "enormt bedrägeri" på X. Inlägget delades mer än 200 gånger och antände en het debatt. En anonym investerare är naket ärlig om dynamiken: "När ett bolag i en kategori gör det är det svårt att låta bli själv, bara för att hänga med."

Det är en klassisk kapplöpning mot botten — och förr eller senare är det förtroendet för hela branschen som betalar priset.

Möjligheten är fortfarande enorm — men den kräver spelregler

Jag tror på AI. Jag tror på transformationens kraft. Men dessa tre fall delar ett gemensamt mönster: tekniken har rört sig snabbare än de normer, lagar och förväntningar som omger den. Det är inte ett argument mot AI — det är ett argument för att bygga rätt strukturer nu, innan förtroendet eroderar på allvar.