AI-system lätta att lura – små klistermärken kan stoppa självkörande bilar

När AI-skydd visar sig vara otillräckliga

Fyra nya forskningsstudier från arXiv kastar ljus över en oroande verklighet: våra AI-system är mer sårbara än vi tidigare trott. Som systemutvecklare som dagligen arbetar med AI-integration känner jag igen utmaningarna, men omfattningen av problemen som nu dokumenteras är påfallande.

Attacklappar hotar bildanalys

Den kanske mest akuta risken kommer från så kallade universella attacklappar. Forskare har utvecklat OmniPatch, en metod som skapar små visuella störningar som kan lura AI-system inom bildanalys. Till skillnad från tidigare attackmetoder fungerar dessa lappar över olika bildtyper och AI-arkitekturer – både traditionella CNN-nätverk och moderna Vision Transformers.

Vad som gör detta särskilt allvarligt är att attacken fungerar utan att angriparen behöver känna till målmodellens interna struktur. För självkörande fordon, som är helt beroende av robust bildtolkning, representerar detta en existentiell säkerhetsrisk. En liten klisterlapp på en trafikskylt skulle potentiellt kunna få ett fordon att feltolka stopp som "kör vidare".

Integritetsskydd räcker inte

Parallellt visar forskning på grafneurala nätverk att även system som skyddas med avancerad integritetsteknik kan vara sårbara. Studier av så kallade LDP-skyddade system (lokal differentiell integritet) visar att även om användarnas personliga data skyddas genom kontrollerat brus, så garanterar detta inte säkerhet mot fientliga attacker.

Detta är tekniskt fascinerande men också problematiskt. Vi har länge trott att integritetsskydd och säkerhet går hand i hand, men forskningen visar att vi behöver separata försvarslinjer för olika hottyper.

Språkmodeller kringgår etiska filter

En tredje studie avslöjar systematiska brister i språkmodellers etiska skyddsmekanismer. Forskare har utvecklat LJ-Bench, den första omfattande testmodellen för att utvärdera hur stora språkmodeller hanterar brottsrelaterade förfrågningar. Genom att strukturera testerna enligt amerikansk straffrätt med 76 olika brottstyper får vi en mer nyanserad bild av sårbarheterna.

Resultaten är talande: språkmodeller är särskilt sårbara för angrepp som riktar sig mot samhällsskador snarare än brott mot enskilda individer. Detta tyder på att de etiska filtren är ojämnt implementerade och kan kringgås genom strategisk omformulering av frågor.

Systematiska fel i marknadsförings-AI

Slutligen visar forskning på så kallade uplift-modeller – som används för personaliserad reklam – att verkliga data ofta innehåller systematiska fel som urvalsskevhet och dolda störfaktorer. Dessa påverkar både modellernas noggrannhet och tillförlitligheten hos de mätvärden vi använder för att bedöma prestanda.

Forskarnas halvsyntetiska testramverk visar att modellen TARNet uppvisar störst motståndskraft mot olika typer av partiskhet, vilket ger oss en riktning för hur vi kan bygga robustare system.