Dolda fällor i AI-modeller aktiveras först när modellerna krymps för mobil och dator — forskare slår larm
Dold skadlig kod i AI aktiveras först när modellen krymps för mobilen.
När optimeringen blir en sårbarhet
Det finns en fras inom säkerhetsforskning som jag återkommer till gång på gång: attackytan förflyttar sig alltid dit du inte tittar. En ny studie publicerad på arXiv är ett läroboksexempel på precis det.
Forskarna bakom studien har demonstrerat något som borde få säkerhetsansvariga inom AI-branschen att sätta kaffet ifrån sig: det går att bädda in bakdörrar i stora AI-modeller som är helt osynliga vid vanlig säkerhetsgranskning — och som sedan aktiveras automatiskt när modellen komprimeras.
Processen som utlöser bakdörren kallas kvantisering. Det är en standardteknik inom AI-branschen som används för att göra stora, resurskrävande modeller tillräckligt lätta för att köras på vanlig konsumenthårdvara — mobiltelefoner, bärbara datorer, inbyggda system. Principen är enkel: man minskar precisionen i de tal som representerar modellens parametrar, från 32- eller 16-bitars flyttal till exempelvis 8-bitar (INT8) eller ännu kompaktare 4-bitarsformat. Resultatet är en modell som tar mindre minnesutrymme och kräver färre beräkningar.
Det låter som ren ingenjörsmässig praktik. Och det är det också — men enligt arXiv-studien kan just den förflyttningen i talrepresentation fungera som en tändmekanism för inbyggd skadlig logik.
Siffrorna är svåra att ignorera
I ett av studiens experiment använde forskarna en översättningsmodell och bäddade in en bakdörr som påverkade klassificeringen av vän-fiende-relationer i texten. I sitt ursprungliga, okomprimerade format klarade modellen alla säkerhetskontroller med godkänt resultat — felfrekvensen var noll.
Efter kvantisering till 4-bitarsformat steg felaktig klassificering till 85 procent.
Det är inte en gradvis försämring. Det är ett binärt beteende: av, sedan på. Precis som en bakdörr är designad att fungera.
Detta är tekniskt elegant — och därför farligt. Den som bäddar in bakdörren behöver inte riskera att den upptäcks vid granskning av originalmodellen, eftersom den bokstavligen inte är aktiv där. Den vaknar till liv i ett senare steg i distributionskedjan, ett steg som traditionellt betraktas som rent teknisk hantering snarare än ett säkerhetskritiskt moment.
En strukturell lucka i hur vi litar på AI
Som systemutvecklare känner jag igen mönstret. Vi är vana vid att säkerhetsgranskning sker vid källan — vi granskar koden, vi granskar modellen, vi kör tester mot det vi faktiskt har byggt. Sedan driftsätter vi.
Men AI-modeller distribueras idag i pipeline-format: tränad modell → finjustering → komprimering → distribution. Varje steg i den kedjan är en potentiell angreppsyta, och studien visar att granskning i ett tidigt steg inte garanterar säkerhet i ett senare.
Det är ett paradigmskifte i hur vi måste tänka kring tillförlitlighet. Forskarna argumenterar, helt rimligt, att den slutliga komprimerade versionen av en modell måste genomgå fullständig beteendecertifiering innan den driftsätts. Det räcker inte att ha granskat originalmodellen.
Detta ställer också krav på transparens längs hela distributionskedjan. Vem komprimerar modellen? Vilka verktyg används? Kan den komprimerade versionen verifieras mot originalet på ett meningsfullt sätt? Idag är svaret på de frågorna alltför ofta: vi vet inte riktigt.
Konsekvenser för verkliga produkter
Tänk på hur AI-funktioner faktiskt når slutanvändare idag. En stor grundmodell tränas av ett AI-laboratorium, komprimeras av en applikationsutvecklare, paketeras i en mobilapp och körs lokalt på din telefon. Det är tre till fyra organisatoriska gränser och lika många tekniska transformationer — utan att någon nödvändigtvis äger hela ansvarskedjan.
Det är inte en hypotetisk risk. Det är den faktiska arkitekturen bakom en stor andel av de AI-drivna appar som används idag.
Jag är genuint optimistisk om vad AI kan åstadkomma — men den optimismen måste vara välgrundad. Och välgrundad optimism kräver att vi tar den här typen av forskning på fullaste allvar.
Vår analys
Den här studien sätter fingret på något som AI-branschen länge har underskattat: distributionskedjan är en del av säkerhetsytan. Vi har byggt relativt mogna rutiner för att granska modeller vid träning och finjustering, men komprimering har behandlats som ett neutralt, tekniskt steg — vilket forskningen nu visar är en farlig förenkling.
Det positiva är att problemet är identifierat och att lösningen i princip är känd: utöka certifieringskraven till att omfatta den faktiska driftsversionen av modellen. Det är genomförbart. Branschstandarder som NIST:s ramverk för AI-riskhantering och kommande regleringar inom EU:s AI-förordning kommer sannolikt att behöva uppdateras för att explicit adressera just komprimerade modellversioner.
På sikt tror jag att vi kommer att se kryptografiska verifieringsmekanismer som kopplar en komprimerad modell till sitt certifierade original — ungefär som kodsignaturer fungerar idag. Det är tekniskt lösbart. Men vi måste vilja lösa det.