Tornen stod där. Algoritmerna körde. Ändå dog över tusen människor oupptäckta.

När tekniken lovar men sviker

Jag är genuint övertygad om att AI kan förändra världen till det bättre. Men det förutsätter att vi är ärliga om när det går fel — och det här är ett fall där det har gått mycket fel.

Enligt MIT Technology Review har USA under de senaste 25 åren investerat miljarder dollar i ett nätverk av övervakningstorn och sensorsystem längs gränsen mot Mexiko. Systemet har marknadsförts med ett dubbelt löfte: att stoppa olaglig gränspassage och att rädda liv. Det är ett löfte som på pappret låter rimligt — mer teknik, bättre överblick, snabbare insatser.

Verkligheten ser annorlunda ut.

MIT Technology Reviews undersökning, ledd av chefredaktör Mat Honan, AI-reportern James O'Donnell och reportern Eileen Guo, har dokumenterat över tusen dödsfall bland personer som rört sig genom områden bevakade av dessa system — utan att ha blivit upptäckta, stoppade eller räddade. Det är inte statistik i en rapport. Det är enskilda öden, familjer som väntar, och ett system som inte levererade det som utlovades.

Det som gör granskningen särskilt tungt vägande är att flera av dödsfallen inträffade i direkt anslutning till nyinstallerade torn med artificiell intelligens — konstruerade specifikt för att automatiskt identifiera människor i rörelse. Tornen var på plats. Algoritmerna körde. Och ändå dog människor oupptäckta.

Teknik utan ansvar är inte en lösning

Här är min analys som affärsutvecklare och någon som arbetat med digital omställning i många år: det finns ett mönster i hur storskalig teknikdriftsättning misslyckas, och det börjar nästan alltid med samma misstag.

Man mäter installation, inte utfall. Man räknar torn, sensorer och kontrakt — inte hur många liv som faktiskt räddades eller hur många gränsöverskridare som faktiskt identifierades. Systemet utvärderas utifrån om det finns på plats, inte om det fungerar.

Detta är ett klassiskt problem inom offentlig upphandling av teknik, och det är ingenting unikt för USA. Vi ser liknande risker i europeisk gränsövervakning, där EU:s gränskontrollbyrå Frontex har expanderat sin teknikanvändning kraftigt under de senaste åren — med drönarflygningar, satellitövervakning och automatiserad bildanalys. Frågan är om man där mäter rätt saker.

MIT Technology Reviews granskning bör fungera som ett väckarklocka — inte bara för USA:s gränsmyndigheter, utan för varje myndighet och organisation som driftsätter AI-system i sammanhang där fel kan kosta liv.

Vad vi kan lära oss

Jag vill vara tydlig: det här är inte ett argument mot AI i känsliga sammanhang. Det är ett argument för att AI-system måste kopplas till tydliga, mätbara och mänskligt granskade utfallsmål — inte tekniska specifikationer.

När ett system är designat för att identifiera människor i nöd, måste framgång definieras som antal räddade liv, inte antal identifierade rörelser. Systemet måste integreras med faktisk insatskapacitet. Det måste finnas återkopplingsmekanismer som larmar när systemet presterar under förväntan.

Detta är inte raketforskning. Det är grundläggande kravställning — och den verkar ha saknats.

Granskningen från MIT Technology Review lyfter också fram något som sällan diskuteras i den mer entusiastiska AI-debatten: teknik är aldrig neutral. Valet att använda AI för gränsövervakning är ett politiskt och etiskt val. Och när det valet fattas utan tillräcklig transparens, utan oberoende granskning och utan tydliga ansvarssystem — då kan tekniken bli ett redskap för att dölja misslyckanden snarare än att lösa problem.

Det är en läxa vi måste ta med oss in i varje offentlig AI-satsning, oavsett sektor.