Miljonsatsning på AI-vakt utlöste inget larm när skytt klev in i skolan – nu stäms säkerhetsföretaget

När tekniken sviker på allvar

Det finns stunder då teknikoptimism måste möta verkligheten med öppna ögon. Det här är en sådan stund.

Enligt Ars Technica har en tonåring som allvarligt skadades vid en skolskjutning på en gymnasieskola i Nashville, Tennessee, nu lämnat in en stämningsansökan mot säkerhetsföretaget Omnilert till domstolen i Davidson County. Anklagelsen är allvarlig: företagets AI-drivna system för vapenidentifiering missade handeldvapnet som gärningsmannen bar – ett misslyckande som inträffade mitt i en skola som investerat miljontals kronor i just denna teknik för att skydda sina elever.

Skolan hade 2023 ingått ett avtal värt över en miljon dollar med Omnilert för att lägga AI-teknik ovanpå det befintliga kameranätverket. En investering gjord i välvilja och med ett tydligt syfte: att stoppa nästa tragedi innan den hinner inträffa. Men när det gällde på riktigt räckte det inte till.

Vad gick fel?

Efter skjutningen förklarade en talesperson för Nashville-skolmyndigheten att skyttens position i förhållande till kamerorna innebar att bildkvaliteten "inte var tillräckligt nära för att ge en korrekt avläsning och utlösa larmet". Det är en förklaring som i sig rymmer ett systemfel av principiellt slag.

Stämningsansökan specificerar ett antal konkreta brister: kameraplacering, avstånd till vapnet, kameravinkel, ljussättning och siktbarhet. Med andra ord – faktorer som är helt förutsägbara i en verklig skolmiljö. Det är inte orimligt att ställa frågan: om dessa begränsningar var kända, varför kommunicerades de inte tydligare till den köpande skolan?

Där ligger kärnan i den rättsliga anklagelsen. Stämningen hävdar att Omnilert antingen kände till – eller borde ha känt till – att systemet hade "betydande driftsbrister som kunde leda till att vapen inte upptäcktes vid verkliga nödsituationer". Till detta läggs anklagelser om vilseledande marknadsföring, där företaget påstås ha hävdat att deras teknik hade kunnat förhindra eller mildra tidigare skolskjutningar.

Ett prejudikat är på väg att sättas

Detta rättsfall är inte bara en uppgörelse mellan en drabbad familj och ett teknikföretag. Det är ett vägskäl för hela den framväxande branschen av AI-baserade säkerhetssystem.

Under de senaste åren har en rad företag marknadsfört AI-lösningar för vapendetektion, ansiktsigenkänning och hotbedömning mot skolor, arenor och offentliga miljöer världen över. Försäljningsargumenten är ofta kraftfulla och emotionellt laddade – det handlar om att rädda barn, stoppa massskjutningar, agera snabbare än en människa. Det är i grunden lovvärda ambitioner.

Men teknik som säljs in med löften om att rädda liv bär också ett proportionerligt ansvar när den fallerar. Det räcker inte att hänvisa till att kameravinkel eller ljusförhållanden var suboptimala – om dessa faktorer avgör systemets tillförlitlighet måste de kommuniceras tydligt, och installationen måste anpassas därefter.

För mig är det här inte ett argument mot AI i säkerhetssystem. Tekniken har verklig potential och kan i rätt implementering ge skolor och samhällen ett genuint skyddslager. Men potentialen och verkligheten måste matcha. Och när de inte gör det – särskilt i situationer där konsekvenserna är livsavgörande – måste det finnas ett tydligt ansvarsramverk.

Det saknas i dag på de flesta marknader. Ingen enhetlig standard avgör vad ett AI-säkerhetssystem faktiskt måste klara av för att få säljas som just ett säkerhetssystem. Ingen oberoende certifiering bekräftar att systemet håller vad marknadsföringen lovar. Det är en lucka som lagstiftare, upphandlare och teknikbranschen gemensamt behöver fylla – och detta rättsfall kommer sannolikt att accelerera den processen.

Nashville-fallet är tragiskt. Men ur tragedins spår kan det växa fram något nödvändigt: en skarpare och mer ärlig konversation om vad vi faktiskt kan kräva av AI när insatsen är som högst.