Läkare kräver genomskinlig AI – annars är den för farlig för vården

Svarta lådor hör hemma i laboratoriet – inte på akuten

Det är lätt att bli hänförd av vad modern AI kan åstadkomma inom sjukvården. Bildtolkning, diagnosstöd, läkemedelsgenomgångar, tidig varning vid försämring – listan på lovande tillämpningar växer för varje kvartal. Men entusiasmen måste balanseras med en skarp fråga: Hur vet vi att AI:n har rätt av rätt anledningar?

Det är precis den frågan som Dr. Niki Panich, medicinsk chef på Penguin AI och praktiserande familjeläkare, driver med begreppet hon kallar glaslåda-spårbarhet. Enligt Healthcare IT News förespråkar hon ett system där AI-genererade rekommendationer öppet redovisar sitt resonemang – vad som vägdes in, vad som prioriterades och vad som medvetet valdes bort – i stället för att gömma sig bakom ett ogenomskinligt konfidenstal tre klick in i ett gränssnitt.

Hennes argument är inte abstrakt etik. Det är patientperspektiv.

Hon beskriver ett verkligt scenario: ett AI-system rekommenderade att skriva ut en patient med ett nytt blodförtunnande läkemedel. Begravt i systemets resonemang fanns en omvårdnadsnotering om att patienten nyligen ramlat hemma. En detalj läkaren ännu inte hunnit läsa.

– Utan den synligheten hade hon kanske bara godkänt och gått vidare. Med den stannade hon upp, ringde familjen och omvärderade hela planen, konstaterar Panich.

Det är ett litet exempel med stora konsekvenser. Skillnaden mellan ett svart-låde-svar och ett genomskinligt resonemang kan vara skillnaden mellan rätt och fel beslut – och i vården kan det skillnaden bokstavligen vara fråga om liv eller död.

Medicin passar sällan in i lärobokssvar

Panich lyfter något som många teknikoptimister tenderar att underskatta: medicin är i grunden ett kontextuellt hantverk. En patients rädsla för nålar, det faktum att en äldre kvinna är ensam vårdare för sin make, eller en social situation som aldrig dokumenterats i journalen – det är detaljer som varken syns i strukturerad data eller fångas av en modell tränad på aggregerade patientflöden.

Det är här glaslåda-principen blir strategiskt avgörande, inte bara etiskt önskvärd. När AI:n visar sin väg ges läkaren möjlighet att komplettera med den tysta kunskap som bara uppstår i rummet med patienten. Tekniken förstärker det mänskliga omdömet – den ersätter det inte.

Detta är en distinktion jag anser att hela branschen behöver internalisera snabbare.

Datakvaliteten är grundproblemet

Parallellt med kravet på öppenhet i resonemang finns ett lika pressande problem längre ner i kedjan: datakvaliteten. Forskning publicerad på arXiv presenterar ett nytt ramverk kallat VCR, utformat för att hantera ofullständiga hälsodata från bärbara enheter som smartklockor och hälsoband.

Problemet är välkänt för den som arbetar med verkliga driftsystem: sensorer slutar leverera data, batterier tar slut, enheter bärs fel eller inte alls. Traditionella maskininlärningsmodeller förutsätter att alla datakällor är tillgängliga – och när de inte är det riskerar modellen att hallusinera information som inte kan härledas från tillgänglig data.

VCR löser detta genom att enbart återskapa gemensamma semantiska mönster snarare än hela signaler, kombinerat med en expertblandningsmodell som anpassar sig dynamiskt efter vilka sensorer som faktiskt är aktiva.

Kopplingen till glaslåda-diskussionen är tydligare än den kan verka vid en första anblick: ett AI-system som resonerar öppet måste också vara transparent om vilken data det faktiskt grundar sig på. Om en rekommendation bygger på ofullständiga sömndata eller en kalorisk registrering från en halv dag – behöver läkaren veta det. Annars är genomskinligheten i resonemanget bara en illusion.

Öppenhet som konkurrensfördel

Jag vill avsluta med ett affärsperspektiv som sällan lyfts i dessa diskussioner: genomskinlighet är inte bara en etisk skyldighet – det är en konkurrensfördel.

De AI-system som vinner sjukvårdens förtroende på lång sikt kommer inte att vara de mest komplexa. De kommer att vara de som läkare faktiskt litar på. Och förtroende byggs inte genom imponerande prestandamått på testdata. Det byggs genom att visa sitt arbete, gång efter gång, i verkliga kliniska situationer.

Glasboxen är inte ett hinder för AI-adoption i vården. Den är förutsättningen för den.