Forskare: Vårdpersonal behöver kunna ifrågasätta AI – förklaringar räcker inte
Vårdpersonal måste kunna ifrågasätta AI-beslut, inte bara förstå dem.
Förklarbarhet är inte nog – vårdpersonal vill ha kontroll
AI håller på att transformera sjukvården i grunden. Från självkritiska system som förbättrar tolkning av patientdata till banbrytande molekylär prediktion – utvecklingen går fort framåt. Men enligt ny forskning publicerad på arXiv räcker det inte längre med att AI-system kan förklara sina beslut. Vårdpersonal kräver något mer fundamentalt: rätten att ifrågasätta och korrigera dessa system.
Begreppet "Contestable AI" – eller ifrågasättbar AI – introduceras nu som ett nödvändigt designkrav för pålitliga vårdteknologier. "Nuvarande förklarbar AI räcker inte för system med flera AI-agenter", konstaterar forskarna. Istället behöver vårdgivare strukturerade möjligheter att utmana, granska och åsidosätta AI-beslut genom hela beslutsprocessen.
Detta är inte bara en teknisk fråga – det handlar om bevarande av mänskligt ansvar i situationer med höga insatser. När AI-system används för att stödja komplexa medicinska beslut måste det finnas tydliga vägar för vårdpersonal att ingripa och korrigera.
Genombrott inom vårddata-tolkning
Parallellt med dessa etiska överväganden gör tekniken kraftiga framsteg. Forskare har utvecklat en metod kallad "djup reflekterande resonemang" som använder stora språkmodeller för att iterativt granska och revidera sina egna resultat när de tolkar kliniska journalanteckningar.
Resultaten är imponerande. Inom cancervård har metoden förbättrat noggrannheten dramatiskt – från 68% till 83,3% för lungcancer och från 87% till 92,7% för Ewing-sarkom. Detta löser ett kritiskt problem: befintliga AI-system missar ofta samband mellan variabler i medicinska data, vilket leder till kliniskt inkonsekventa resultat.
Sverige leder inom molekylär AI
På den internationella arenan gör svenska forskare avtryck. En ny AI-metod kallad Multi-RF Fusion har tagit förstaplatsen på den prestigefyllda OGB-topplistan för molekylär egenskapsprediktion, med en testprecision på 84,76 procent.
Metoden kombinerar tolv Random Forest-modeller med djupa grafneurala nätverk – och det utan extern data eller förträning. Detta genombrott kan få avgörande betydelse för läkemedelsutveckling, där noggrann prediktion av molekylära egenskaper är kritisk för framgång.
Global expansion trots utmaningar
Globalt ser vi hur AI-satsningar inom vården accelererar. Indien testar AI-verktyg på 18 statliga sjukhus för att diagnostisera upp till 15 sjukdomstillstånd, medan Nya Zeeland lanserar pilotprojekt för lokal genomtestning som kan halvera beroendet av utländska laboratorier.
Men utvecklingen sker inte utan utmaningar. Cybersäkerhetsincidenter, som den Iran-kopplade attacken mot Strykers medicintekniska enheter, påminner oss om att säkerhet måste vara grundläggande i all vårdteknologi. Vårdorganisationer investerar därför allt mer i strukturerade säkerhetslösningar och partnerskapsavtal.
Framtidens vårdteknologi kräver balans
Vi står vid en vändpunkt där tekniska möjligheter möter mänskliga behov av kontroll och ansvar. Den senaste utvecklingen visar tydligt att framgångsrik AI inom vården inte bara handlar om prestanda – det handlar om att skapa system som förstärker snarare än ersätter mänskligt omdöme.
Vår analys
Denna utveckling markerar en mognadsprocess inom vårdteknologi där branschen börjar förstå att teknisk excellens måste balanseras med praktiska arbetssätt. Kravet på ifrågasättbar AI är inte ett tecken på motstånd mot teknologi – tvärtom är det ett tecken på att vården är redo att integrera AI på ett hållbart sätt.
Sverige positionerar sig smart genom att leda inom grundläggande AI-forskning samtidigt som vi bygger upp kompetens kring etiska implementeringar. Detta ger oss konkurrensfördel när den globala vårdmarknaden fortsätter digitaliseras.
Framöver förutser jag att "contestable AI" blir en branschstandard som driver innovation mot mer robusta och tillförlitliga system. Organisationer som tidigt adopterar denna filosofi kommer att ha betydande fördelar när regelverken skärps och patientförväntningarna ökar.