Systemen lovar säkerhet – men kryphålen finns kvar
Övervakningssystemet skyddar inte kvinnor – det används för att förfölja dem.
Reformer som ser bra ut på pappret
Flock Safety driver ett nätverk av ungefär 120 000 automatiska skyltläsarkameror i USA och säljer tjänsten till polismyndigheter som ett brottsbekämpande verktyg. Men som MIT Technology Review kartlägger har systemet i minst 50 dokumenterade fall använts för att spåra och trakassera kvinnor – i ett fall eftersöktes en kvinnas bil hela 179 gånger av hennes fd pojkvän, en polis. I ett annat fall var det polischefen själv som stod bakom förföljelsen, utan att offret hade någon att vända sig till.
Flocks svar på avslöjandena? Poliser måste numera ange ett ärendenummer vid varje sökning, och ny programvara ska flagga misstänkta sökmönster. Det låter rimligt – tills man läser detaljerna. Flock kontrollerar nämligen inte om ärendenumren faktiskt stämmer mot myndigheternas register. En polis som vill kringgå systemet anger helt enkelt ett påhittat nummer. Kryphålet är kvar, det är bara lite bättre kamouflerat.
Det är ett mönster vi känner igen från tekniksektorn i stort: synliga åtgärder som signalerar god vilja utan att adressera de strukturella problemen. Integritets- och medborgarrättsorganisationer påpekar att Flock har förvandlat ett smalt brottsbekämpande verktyg till ett system för masskartläggning av hela befolkningar. Flera städer har redan avbrutit sina avtal, och delstater utreder möjligheten att begränsa eller förbjuda tekniken.
AI som kan luras – snabbt och effektivt
Flock-storyn är ett exempel på hur mänskligt missbruk underminerar tekniska system. Men forskarvärlden varnar nu även för en annan angreppsyta: att AI-systemen själva kan manipuleras inifrån.
Ett forskarlag presenterar i en ny studie på arXiv ramverket GENADA, som genomför så kallade motståndarangrepp mot djupinlärningsmodeller som arbetar med tidsseriedata – den typ av modeller som används i allt från intensivvårdsövervakning till rörelsemönster på finansmarknaden och belastning i elnät. Tricket är elegant och oroväckande: istället för beräkningstunga iterativa angrepp använder GENADA en generativ modell som producerar vilseledande störningar i ett enda steg, med jämförbar effektivitet men en bråkdel av tidsåtgången.
Enklare uttryckt: det har blivit billigare och snabbare att lura de AI-system vi litar på i samhällskritiska sammanhang.
Samtidigt visar en annan studie att forskningen kring vertikal federerad inlärning – en teknik som låter organisationer samträna AI-modeller utan att dela rådata – i stor utsträckning bygger på orealistiska laboratorieförutsättningar. Påståenden om nästan perfekta försvarsmekanismer mot bakdörrsattacker håller inte i mer verklighetstrogna tester. Forskarna lanserar riktmärket BVBench för att kalibrera om fältets förväntningar och styra mot lösningar som faktiskt fungerar utanför akademin.
Ljuset i tunneln: smarter säkerhet och äkta förklaringar
Det vore fel att stanna vid problemen. Samma vecka presenteras också genuint lovande motåtgärder.
Ramverket HiRoute angriper ett klassiskt dilemma i stora språkmodeller: hur gör man en modell säker utan att den börjar avvisa helt harmlösa frågor? Svaret är en hierarkisk arkitektur som separerar generell säkerhetskontroll från specifik riskbedömning. En lättviktig komponent analyserar inkommande förfrågningar och sorterar dem – ofarliga frågor hanteras direkt, riskfyllda skickas vidare till specialiserade säkerhetsmoduler. Tester visar att HiRoute uppnår hög säkerhet utan att offra användbarhet.
För den som hanterar känsliga dokument i AI-flöden finns SEAG – ett system som identifierar och ersätter känsliga entiteter med neutrala alias innan informationen lämnar organisationens kontroll. En intern ersättningstabell gör att svaret kan återöversättas korrekt. Träffsäkerheten överstiger 80 procent i testerna, och modeller som Qwen-3 och LLaMA-3.2 visar särskilt starka resultat.
Slutligen introducerar forskare Causal Attribution Score (CAS) – ett verktyg som skiljer på vad en AI-modell förutsäger och vad som faktiskt orsakar ett utfall. I ett experiment med data om pennsylvanska arbetstagare klättrade variabeln "exakt ett försörjningsberoende barn" från plats 13 i den förutsägande rangordningen till plats 2 när orsakssamband beaktades. Det är inte en trivial skillnad när AI-modeller används för beslut som påverkar riktiga människors liv.
Två parallella verkligheter
Det som förenar veckans nyheter är spänningen mellan system som ser säkra ut och system som är säkra. Flock visar att välmenande reformer kan vara meningslösa om de inte stänger de faktiska kryphålen. Forskningen om GENADA och federerad inlärning visar att säkerhetspåståenden utan verklighetstrogna tester är lika ihåliga. Och HiRoute, SEAG och CAS visar att det faktiskt går att bygga bättre – om man ställer rätt frågor från början.
Vår analys
Det finns ett genomgående tema i veckans nyheter som är värt att hålla fast vid: glappet mellan avsikt och effekt. Flock ville bygga ett brottsbekämpande verktyg – det blev ett instrument för förföljelse. Federerade inlärningssystem utlovades vara säkra – de var det inte i praktiken. Förklaringsmetoder för AI påstods visa vad som påverkar utfall – de visade egentligen bara vad som förutsäger dem.
Det här är inte ett argument mot AI-utvecklingen. Det är ett argument för att ta säkerhets- och integritetsarbetet på lika stort allvar som prestandaoptimeringen. Forskningen kring HiRoute, SEAG och CAS visar att det finns skickliga människor som arbetar med precis rätt frågor. Det som behövs nu är att dessa lösningar tar sig från akademiska artiklar till produktionssystem – och att beställare, inte minst inom offentlig sektor, börjar ställa krav som matchar den faktiska risknivån.