Polisen i Avon and Somerset kartlade en halv miljon invånare med hemliga brottsförutsägelsealgoritmer – utan insyn eller ansvarsutkrävande

När algoritmen bestämmer vem som är farlig

Föreställ dig att du registreras i ett polisregister – inte för något du har gjort, utan för vad ett datorprogram tror att du kanske skulle kunna göra. Det är inte dystopisk science fiction. Det är vad som faktiskt har hänt i Bristol och länet Avon and Somerset i England.

Enligt en gemensam granskning av Wired och det oberoende nyhetsrummet Liberty Investigates, i samarbete med Bristol Cable och Lighthouse Reports, byggde polismyndigheten Avon and Somerset under tystnad upp ett av Storbritanniens mest omfattande system för brottsförutsägelse. Systemet döptes till Think Family – och databasen med samma namn innehöll uppgifter om nära en halv miljon invånare.

Det handlade inte om tidigare domar eller polisanmälningar i traditionell mening. Systemet samlade in uppgifter om bostadssituation, psykiatrisk vård, tonårsgraviditeter och skolmåltidsstöd – och använde sedan maskininlärningsmodeller för att tilldela varje enskild person ett riskpoäng. Totalt utvecklades minst 23 separata algoritmer, avsedda att förutsäga allt från inbrottsrisk och uteblivna domstolsbesök till risken att utsättas för våld i nära relationer. En separat tillämpning, kallad Offender Management App, var konstruerad för att lagra information om upp emot 300 000 personer.

Hemlighållandet är lika allvarligt som felen

Det som gör det hela extra graverande är inte bara att systemet existerade – utan att det hölls dolt. John Pegram, ordförande för en lokal medborgargrupp som bevakar polisens verksamhet, fick inte kännedom om appen förrän 2023, flera år efter att den togs i bruk. När han begärde ut uppgifter om sin egen registrering vägrades han svar. Först efter att ha anlitat juridiskt ombud bekräftades det att han faktiskt fanns med i systemet – dock utan någon ytterligare förklaring.

Här ser vi ett mönster som återkommer i AI-projekt inom offentlig förvaltning världen över: tekniken rullas ut i tystnad, och transparensen läggs på hyllan för att inte störa effektiviteten. Det är en farlig avvägning. Förtroendet för offentliga institutioner är inte ett hinder för innovation – det är en förutsättning för den.

Opålitliga resultat med verkliga konsekvenser

Men problemen stannar inte vid insyn. Granskningen visar att resultaten från systemet inte gick att lita på. Det är ett fundamentalt problem med maskininlärning som tränas på historiska data: om samhällets tidigare orättvisor finns inbyggda i datamaterialet, förstärker algoritmen dem snarare än att korrigera dem. Riskpoäng som baseras på socioekonomiska faktorer – som subventionerade skolmåltider eller psykiatrisk vård – riskerar att systematiskt missgynna redan utsatta grupper.

Detta är inte ett brittiskt fenomen. Vi ser liknande diskussioner i USA kring riskbedömningsverktyg i domstolar, i Nederländerna kring automatiserade socialbidragssystem och i Sverige kring algoritmer inom socialtjänst och Försäkringskassan. Den gemensamma nämnaren är att beslutsunderlag med stor påverkan på enskilda människors liv fattas av system som ingen fullt ut kan granska eller ifrågasätta.

Möjligheten som döljer sig i haveriet

Jag är genuint övertygad om att AI kan göra brottsbekämpning mer träffsäker, mer rättvis och mer resurseffektiv. Prediktiv analys kan hjälpa polisen att prioritera rätt insatser på rätt platser – om det görs öppet, ansvarsfullt och med tydliga rättsliga ramar.

Men det kräver att vi lär oss av fall som det i Bristol. Varje hemligt system som avslöjas skadar inte bara det specifika projektet – det skadar förtroendet för AI i offentlig sektor i stort. Och det förtroendet är svårt att bygga upp igen.

Det brittiska avslöjandet bör fungera som ett tydligt varningstecken för alla som arbetar med AI inom rättsväsendet, socialtjänsten eller annan myndighetsutövning: utan transparens, utan möjlighet att överklaga och utan validerade resultat är ni inte en del av lösningen. Ni är problemet.