AI-system missar cancer och penningtvätt – nya studier avslöjar omfattande säkerhetsbrister
AI-system missar cancerfall och penningtvätt enligt nya forskningsstudier.
Säkerhetsutmaningar växer i takt med AI-användningen
En våg av nya forskningsresultat avslöjar systematiska säkerhetsproblem i AI-system som redan används inom medicin, finans och andra kritiska områden. Upptäckterna kommer vid en avgörande tidpunkt när organisationer snabbt implementerar AI-lösningar utan att fullt ut förstå riskerna.
Inom sjukvården visar forskning från arXiv att teknikerna för så kallad "AI-bortglömning" – där träningsdata raderas från redan tränade modeller – kan öka andelen falskt negativa resultat dramatiskt. Detta innebär att farliga sjukdomar som hudcancer helt enkelt missas av systemet. Forskarna utvecklade visserligen en ny metod kallad SalUn-CRA som minskar dessa risker, men upptäckten understryker hur känsliga medicinska AI-system är för även mindre förändringar.
Finanssektorn står inför liknande utmaningar. Två separata studier visar hur olika analysmetoder inom penningtvättsbekämpning ger helt olika resultat. När forskare jämförde metoder för att upptäcka misstänkta Bitcoin-transaktioner fann de att olika tillvägagångssätt endast överlappar i 8,7 procent av fallen. Den ena metoden identifierade bara 4,3 procent olagliga fall per 100 granskningar, medan den andra upptäckte 30,2 procent.
Detta är inte bara ett tekniskt problem – det betyder att samma budget och data kan leda till helt olika utredningsköer och att olika brottslingar utreds beroende på vilken metod som används.
För att hantera vilseledande AI-svar inom finans har forskare utvecklat FinGround, ett system som upptäcker när AI fabricerar finansiella uppgifter. Systemet minskade vilseledande svar med 68 procent och presterade 78 procent bättre än GPT-4o. Med EU:s AI-förordning som träder i kraft augusti 2026 med stränga krav på AI-system inom högriskområden, blir sådana lösningar allt mer kritiska.
Manipulation och påverkan av AI-system
En särskilt oroande upptäckt gäller hur lätt AI-system är att manipulera. Forskare utvecklade en metod där två samverkande AI-agenter systematiskt försöker lura system genom att omskriva texter. I tester mot system för upptäckt av felaktig information lyckades de kringgå moderna språkmodeller i 20-40 procent av fallen, medan äldre system visade sig nästan helt sårbara med 97 procents sårbarhetsgrad.
Inom vetenskaplig granskning avslöjer forskning att AI-granskningssystem kan manipuleras genom dolda instruktioner i manuskript, prestigeinramning och påhittade påståenden. Detta väcker allvarliga frågor om AI:s roll i kvalitetssäkring av forskning när systemet redan är överbelastat.
Ljusglimtar och lösningar
Trots utmaningarna finns det lovande framsteg. Forskare har utvecklat EPO-Safe, ett ramverk där AI-system kan lära sig säkerhetsregler genom enkla ja/nej-signaler. Systemet kunde upptäcka säkert beteende inom 1-2 omgångar och skapa läsbara specifikationer som förklarade faror korrekt.
Den här utvecklingen visar att säkerhetsproblemen inte är olösliga – de kräver bara mer sofistikerade tillvägagångssätt än vi hittills använt.
Vår analys
Dessa forskningsresultat kommer inte som en överraskning för oss som arbetar nära AI-utvecklingen, men de understryker urgensen i säkerhetsarbetet. Vi står vid en vändpunkt där AI-system snabbt implementeras i kritiska processer utan tillräcklig säkerhetstestning.
Det mest anmärkningsvärda är inte att problemen existerar, utan deras systematiska natur – från medicin till finans visar sig liknande sårbarhetsmönster. Detta tyder på att vi behöver fundamentalt nya tillvägagångssätt för AI-säkerhet, inte bara inkrementella förbättringar.
Framåtblickande ser jag detta som en naturlig mognadsfas. Precis som internetsäkerheten utvecklades från efterhand till inbyggd säkerhet, genomgår AI-branschen nu samma transformation. EU:s AI-förordning 2026 kommer att accelerera denna utveckling och skapa konkurransfördelar för organisationer som investerar i robust AI-säkerhet nu.
Möjligheten ligger i att bygga tillit genom transparens – företag som kan visa systematisk säkerhetshantering kommer att vinna marknadstillit och regulatoriskt förtroende.