Nio av tjugo godkända AI-system fabricerade patientuppgifter – tre granskningar avslöjar säkerhetsluckor
Nio av tjugo godkända AI-system hittade på patientuppgifter i medicinska journaler.
När tempot slår ut eftertanken
Jag är den förste att lyfta fram AI:s enorma potential. Men det finns ett mönster i veckans nyhetsflöde som inte går att ignorera – och som varje seriös aktör i branschen bör ta på djupaste allvar.
Tre separata granskningar, rapporterade av The Register, pekar åt exakt samma håll: implementeringen springer ifrån säkerhets- och etikramverken. Det är inte ett tecken på att AI är farligt i grunden – det är ett tecken på att vi ännu inte byggt de strukturer som krävs för att driftsätta det ansvarsfullt.
Läkarsystemet som hittade på verkligheten
Låt oss börja med det som är mest alarmerande. Ontarios riksrevision i Kanada granskade tjugo godkända AI-system för medicinsk journalföring – och fann att nio av dem fabricerade patientinformation. Tolv system lade till felaktig läkemedelsinformation. Sjutton missade uppgifter om patienternas psykiska hälsa som faktiskt tagits upp i samtalen.
Detta är inte marginella fel. Det är potentiellt livsfarliga felaktigheter i ett sammanhang där precision är absolut nödvändig.
Men det mest uppseendeväckande i rapporten är inte felen i sig – det är hur systemen ursprungligen bedömdes. Enligt granskningen vägde leverantörens närvaro i Ontario för hela 30 procent av betyget. Noggrannheten i de medicinska journalerna? Blygsamma 4 procent. Kontroll av partiskhet i utdata: 2 procent.
Det är ett upphandlingssystem som mäter fel saker. Och det är ett systemfel vi människor skapat – inte AI.
Mänsklig granskning är inte den trygghet vi tror
En vanlig lösning när AI-agenter fattar beslut är att lägga in ett mänskligt kontrollsteg – en person som godkänner eller avvisar varje åtgärd. Det låter betryggande. Men mjukvaruutvecklaren Alex Wauters skapade ett webbläsarspel för att testa hur väl det faktiskt fungerar i praktiken.
Resultaten, baserade på över 40 000 genomspelningar och nära 410 000 behandlade förfrågningar, rapporterar The Register, är nedslående: spelarna missade i snitt en tredjedel av alla skadliga kommandon. Det enskilt mest förbisedda kommandot – npm run analyze – godkändes i hela 65 procent av fallen, trots att det kan användas för att köra godtycklig kod.
Detta sätter fingret på en central utmaning i hela fältet för AI-agenter: vi kan inte bygga säkerhetssystem som vilar på antagandet att mänsklig granskning alltid fångar upp det farliga. Det mänskliga omdömet är, precis som AI:t, behäftat med brister – framför allt under tidspress och vid upprepade, monotona beslut.
Copilot som smög in sin signatur
Den tredje händelsen är på ett sätt den minst dramatiska – men symbolvärdet är desto större. Microsoft fick backa efter att AI-assistenten Copilot automatiskt lade till raden Co-authored-by: Copilot i kodhistoriken – även för kod skriven helt av människor, och även för utvecklare som aktivt stängt av AI-funktionerna.
En drabbad utvecklare beskrev i ett inlägg på GitHub hur de noggrant skrivit om sitt incheckningsmeddelande för hand, bara för att ändå finna Copilots upphovsradsmarkering i historiken efteråt. VS Code-granskaren som godkände förändringen bad om ursäkt och betonade att det inte rörde sig om ond vilja – men det spelar mindre roll. Förtroende byggs inte på avsikter. Det byggs på utfall.
Microsoft planerar en fix i version 1.119 som återställer inställningen till frivillig. Men skadan är redan synlig: när AI-verktyg tar äran för mänskligt arbete utan tillstånd, undermineras det grundläggande förtroendet för hela ekosystemet.
Reglering börjar röra på sig – men hinner den ikapp?
I bakgrunden pågår ett parallellt skeende: den brittiska regeringen utreder nu krav på att arbetsgivare ska samråda med anställda innan AI-baserade övervakningssystem införs på arbetsplatsen. Var tredje brittisk organisation kartlägger redan sina anställdas digitala aktivitet – en ökning från var femte arbetsgivare för bara två år sedan, enligt The Register.
Det är ett välkommet steg. Men det illustrerar också gapet: tekniken rör sig i månader, regleringen i år.
Vår analys
De tre granskningarna delar en gemensam rot: vi har rusat att driftsätta AI utan att först bygga de utvärderingssystem, upphandlingskriterier och gränssnitt som krävs för att göra det säkert. Det är inte ett argument mot AI – det är ett argument för bättre ingenjörskonst och bättre styrning.
Det som oroar mig mest är inte enskilda produktfel, utan de strukturella mönstren. När en medicinsk upphandling väger geografisk närvaro trettio gånger tyngre än journalnoggrannhet, är det inte AI:t som brustit – det är beställarkompetensen. När mänsklig granskning missar var tredje farlig förfrågan, måste vi sluta behandla mänsklig kontroll som en universallösning.
Möjligheten här är verklig: dessa granskningar ger oss exakt den vägledning vi behöver för att bygga rätt. Branschen som lyssnar och anpassar sig nu kommer att vara den som vinner förtroendet på lång sikt – och förtroende är den hårdvaluta som avgör vilka AI-satsningar som faktiskt skapar varaktigt värde.