Ingen kan förklara varför AI:n rekommenderar nej – ändå styr den vårdbeslut

Svarta lådor i livsavgörande beslut

Föreställ dig att ett AI-system rekommenderar att du inte ska prioriteras för en viss behandling. Läkaren nickar. Men ingen i rummet kan förklara exakt varför modellen kom fram till det. Det är inte ett dystopiskt framtidsscenario – det är en beskrivning av hur AI-stöttade beslutssystem redan fungerar på många håll i världen.

Det som gör situationen extra besvärlig är att forskarsamhället just nu, i realtid, arbetar på att lösa de grundläggande problemen med sådana system. Det är i sig ett gott tecken – men det innebär också att tekniken har sprungit ifrån de säkerhetsmekanismer som borde omge den.

Ta rättviseproblematiken som ett första exempel. Forskare har nyligen lanserat FairSelect, ett verktyg som systematiskt utvärderar hur väl olika metoder motverkar partiskhet i maskininlärningsmodeller. Det som gör verktyget intressant är att det hanterar situationer där ojämlikheter uppstår i skärningspunkten mellan flera demografiska grupper – inte bara en i taget. Verktyget testades bland annat på kliniska data för att förutsäga strokerisk. Resultaten var nyktra: kombinerade rättviseåtgärder gav ibland förbättringar, men effekterna varierade kraftigt och var i vissa fall rentav kontraproduktiva. Med andra ord – att försöka göra en modell rättvisare är inte alls enkelt, och utan systematisk utvärdering vet man inte ens om man lyckas.

Förklarbarhet – mer än ett modeord

Ett annat centralt problem är att vi sällan vet varför en modell fattar ett visst beslut. Flera forskargrupper arbetar på detta. Ramverket IMEX är ett sådant bidrag – det identifierar inte bara vilka variabler som bidrar mest till en förutsägelse, utan också hur samspelet mellan flera variabler påverkar resultatet. Det är avgörande i känsliga tillämpningar där beslutsunderlag måste kunna granskas.

Parallellt kartlägger en ny forskningsöversikt det framväxande området för federerad förklarbar AI, där modeller tränas gemensamt av flera parter utan att känslig rådata lämnar den lokala miljön. Problemet kvarstår dock: förklaringsmekanismerna är ännu inte standardiserade, och vi saknar gemensamma mått för att mäta förklaringskvalitet. Det är som att bygga ett flygplan och inse att instrumentpanelen ännu inte är uppfunnen.

Förstärkningsinlärning – en metod där AI-agenter lär sig genom återkoppling – är ett annat område där förklarbarhet lyser med sin frånvaro. En ny metod använder induktiv logikprogrammering för att extrahera symboliska representationer av hur agenter faktiskt beter sig, och introducerar nya mätvärden för att bedöma begripligheten hos de regler som styr besluten. Det är ett steg framåt, men fortfarande ett tidigt sådant.

Spårbarhet och minne – de tekniska grundproblemen

Förutom förklarbarhet finns ytterligare två tekniska utmaningar som sällan diskuteras utanför forskarkretsarna: spårbarhet och selektivt glömmande.

Spårbarhet handlar om att i efterhand kunna rekonstruera vilket underlag som låg till grund för ett AI-beslut – och bevisa att dokumentationen inte har manipulerats. Verktyget AuditWeave adresserar just detta genom att registrera varje steg i ett AI-arbetsflöde i ett oföränderligt, hashkedjat register. I tester med 2 000 slumpmässiga manipulationsförsök upptäcktes samtliga. Det är lovande teknik – men det faktum att vi behöver uppfinna den nu, när AI redan används i reglerade sammanhang, säger något om hur snabbt användningen har löpt ifrån infrastrukturen.

Selektivt glömmande handlar om rätten att bli bortglömd – att ta bort specifik data från en tränad modell utan att förstöra övriga förmågor. Två forskargrupper presenterar var sina lösningar: SUITE-protokollet och ramverket GSUO, som båda visar att precisionsstyrda raderingsmetoder överträffar tidigare grova ansatser. Det är viktigt inte minst ur ett dataskyddsperspektiv, men också för säkerheten – en modell som inte kan glömma känslig information på ett kontrollerat sätt är en potentiell säkerhetsrisk.

Mätverktyget är också ett problem

En av de mest tankeväckande studierna handlar inte om modellerna själva, utan om hur vi utvärderar dem. Forskare visade att ärlighetstest av språkmodeller kan ge dramatiskt olika resultat beroende på hur frågorna är formulerade och vilka svarsalternativ som erbjuds – inte beroende på modellens faktiska egenskaper. När antalet svarsalternativ utökades från två till tre sjönk andelen säkra påståenden från 38 av 40 till bara 7 av 40. Det innebär att vi inte ens kan lita på att våra mätverktyg mäter rätt sak. En viktig påminnelse om att tilltron till AI-system inte bara handlar om modellerna – utan också om ramverken vi använder för att bedöma dem.