Över hälften av ansökningarna nekades av AI-systemet – nu varnar experter för samma misstag i Sverige

Algoritmens dom: Vem förtjänar vård?

Det är lätt att tala om AI som en abstrakt kraft som ska effektivisera, optimera och förbättra. Men i januari i år fick tusentals amerikanska pensionärer en mycket konkret upplevelse av vad det innebär när en algoritm får sista ordet i frågor om liv och hälsa.

Trumpadministrationens pilotprogram, känt under förkortningen WISeR – Wasteful and Inappropriate Service Reduction – är det första i Medicare-programmets historia som kräver att ett AI-system förhandsgodkänner vårdbeslut för äldre. Tanken var att reducera onödiga kostnader. Verkligheten blev en annan.

Enligt dokument som organisationen Electronic Frontier Foundation (EFF) lyckades frigöra via rättsliga processer, rapporterar Ars Technica om ett program som havererade redan innan det hann ta fart. En av de inblandade leverantörerna, Innovaccer, var så oförberedd att företaget bad myndigheterna skjuta upp lanseringen. När det avslogs valde man en oväntad lösning: att under en period automatiskt godkänna samtliga inkomna ansökningar – inte för att säkerställa rätt vård, utan för att systemet inte klarade av flödet.

En annan leverantör, Zyter, hade under månader felaktiga uppgifter i systemet efter att ha blandat ihop två separata delar av Medicare-programmet. Resultatet: felaktiga bedömningar baserade på fel underlag, utan att patienterna ens visste om det.

Men det mest talande exemplet kommer från leverantören Virtix: av drygt 6 000 granskade ansökningar nekades hela 53 procent. Fler avslag än godkännanden. En sjukvårdsgivare citeras i de frigivna dokumenten ha kallat programmet "en skam för mänskligheten" och beskriver patienter som grät av smärta medan de väntade på ett beslut från ett system som varken förstår dem – eller bryr sig om dem.

Förhastad teknik i känslig miljö – ett mönster vi känner igen

Det finns en smärtsam ironi i att ett program med namnet "Minskning av slösaktig och olämplig service" självt är ett skolexempel på just det. Men mer än ironin är det strukturen som bör oroa oss.

Detta är inte ett isolerat misstag. Det är ett mönster: teknik som inte är redo pressas ut i produktion av politiska eller ekonomiska skäl. Och när det gäller algoritmer som fattar beslut om sjukvård handlar det inte om att en webbplats kraschar eller att en leverans försenas. Det handlar om människors hälsa, värdighet och i förlängningen – liv.

Vad gör det hela ännu allvarligare är bristen på insyn och överklagbarhet. Hur motiverade algoritmen sina avslag? Vilken data låg till grund? Vilka möjligheter hade patienter och läkare att ifrågasätta besluten? Av allt att döma var svaret på dessa frågor: minimala, oklara och otillräckliga.

Det är just här som Europa och Sverige har en möjlighet att göra rätt från början – inte genom att bromsa AI, utan genom att ställa rätt krav.

Vad Sverige och Europa bör lära sig

EU:s AI-förordning, som trädde i kraft förra året, klassar system som fattar beslut om tillgång till sjukvård som högriskssystem – med krav på mänsklig tillsyn, transparens och möjlighet till överklagande. Det är rätt väg. Men förordningar är bara ord på papper tills de omsätts i faktisk praxis.

För svenska beslutsfattare, regioner och myndigheter som utforskar AI inom vård och omsorg finns det tre konkreta lärdomar från det amerikanska haveriet:

1. Inför aldrig AI-beslutsstöd utan tydliga mekanismer för mänsklig granskning – särskilt i situationer som rör nekad vård eller sociala förmåner.
2. Kräv teknisk mognad innan driftsättning – inte pilotprogram som havererar i realtid med verkliga patienter som bär kostnaden.
3. Gör besluten förståeliga och överklagbara – en algoritm som inte kan förklara sig är inte lämplig som ensam beslutsfattare i välfärdssystemet.

AI har en verklig och kraftfull roll att spela inom sjukvården – för diagnostik, forskning, administration och resursplanering. Men det kräver att vi behandlar implementeringen med samma omsorg som vi kräver av de läkare som systemet är tänkt att stödja.