Allt grönt – ändå manipulerat: Forskningen som river grunden under vår tilltro till AI
Nya studier avslöjar: Godkända AI-system kan vara manipulerade utan att det syns.
Siffran som ser bra ut – men berättar ingenting
Föreställ dig att du certifierar ett säkerhetssystem och att alla kontroller visar grönt. Systemet presterar utmärkt på varje test du kör. Det enda problemet: det kan ändå vara fundamentalt manipulerat, och dina tester är designade för att missa precis det.
Det är inte ett hypotetiskt scenario. Det är slutsatsen från en rad forskningsstudier som publicerades nyligen, och sammantaget målar de en oroande bild av hur vi bygger och godkänner AI-system idag.
En forskargrupp presenterar i en ny studie på arXiv ett så kallat separationsteorem som bevisar att två AI-modeller – en tillförlitlig och en manipulerad – kan vara identiskt lika sett till alla traditionella prestationsmått. Noggrannhet, precision, återkallelse – ingenting avslöjar skillnaden. För att komma åt vad som faktiskt händer inuti modellen har forskargruppen tagit fram ett ramverk kallat kompetensenvelope, som kombinerar prestandacertifiering med granskning av modellens faktiska beslutsprocess. Det räcker inte att mäta vad en modell svarar – man måste förstå hur den resonerar.
Träningsdata som vapen – utan en enda förfalskad etikett
En annan studie lyfter fram en sårbarhet som är lika elegant som den är oroväckande: en angripare behöver inte manipulera eller förfalska träningsdata för att sabotera ett AI-system. Det räcker med att mata in korrekt märkta, men strategiskt utvalda, datapunkter från en orelaterad källa – en metod forskarna kallar monoton störning.
Effekten är dramatisk. Vid flerklass-klassificering kan ett hanterbart problem bli helt olösbart om angriparen får lägga till lika många datapunkter som det finns i den ursprungliga träningsuppsättningen. Goda nyheter finns dock: om mängden tillagda punkter växer långsammare än träningsdatastorleken bevaras inlärningsförmågan. Det ger oss åtminstone en principiell försvarslinje.
Än mer sofistikerade är de så kallade bakdörrsattackerna som en annan forskargrupp har identifierat mot neurala nätverk för fysiksimuleringar. Metoden, kallad cross-parameter relinking, förgiftar träningen så att modellen returnerar svar som ser fysikaliskt rimliga ut – men som beräknats under fel fysikaliska parametrar. I testserien med över 476 försök nådde angriparna en framgångsfrekvens på 100 procent i flera fall, medan modellernas normala felprocent förblev låg. Valideringsmetoder som enbart kontrollerar om svaret ser korrekt ut är alltså döende som säkerhetsstrategi.
Mätvärden som ger falskt hopp
Ett mönster återkommer i studie efter studie: standardmått för att utvärdera AI-system är otillräckliga och ibland direkt vilseledande.
I ett experiment med en Graph-JEPA-modell tränad på nästan 58 000 vetenskapliga artiklar visade systemet utmärkta resultat på vedertagna mätningar – linjär sondering och effektiv rang – trots att modellen i praktiken hade lärt sig noll användbar information om enskilda datapunkter. Informationsåtervinningen var statistiskt oskiljbar från slumpen.
Ett liknande mönster dyker upp i forskning om semi-övervakad inlärning, där ett nytt ramverk kallat C-Score utvärderar träningsbeteende längs tre dimensioner: förutsägelser, särdragsrepresentation och optimering. I ett av experimenten steg ett felaktigt grupperingsmått med över 280 procent – medan modellens synliga träffsäkerhet knappt förändrades. Med andra ord: systemet föll sönder inifrån utan att det syntes utanpå.
Dolda beteenden som smittar mellan modeller
En av de mer oväntade fynden gäller hur AI-modeller tränas på varandra. Forskare har kartlagt ett fenomen de kallar subliminal egenskapsöverföring, där en studentmodell kan ta upp beteendemönster från en lärarmodell även när dessa mönster inte syns direkt i träningsdatan. Mekanismen är subtil: störningen transporteras via optimeringstillståndets första moment, och det efterföljande träningsförloppet avgör vilket faktiskt beteende som uppstår. Samma källpåverkan kan ge vitt skilda utfall.
Forskargruppen verifierade sina resultat på flera stora språkmodeller, däribland Qwen och Llama. Det väcker en principiellt viktig fråga: när vi bygger AI-system på andra AI-system – vilket är normen idag – ärver vi kanske mer än vi vet.
En positiv motbild finns
Det vore fel att sluta bilden där. Forskargruppen bakom Multi-Turn Certified Robustness (MTCR) visar att det faktiskt går att bygga matematiskt verifierade säkerhetsgarantier för konversationsbaserade AI-system, även mot sofistikerade flerstegsmaniupulationer. Ramverket introducerar begreppet säkerhetspersistens och experiment på sex olika språkmodeller bekräftar att det verkliga säkerhetsbeteendet konsekvent överstiger de certifierade gränsvärdena. Det är ett konkret bevis på att vi kan göra bättre – om vi väljer att prioritera det.
Vår analys
Det som är slående med den här samlade bilden är inte att enskilda AI-system har brister – det har alltid programvara haft. Det slående är att våra verktyg för att upptäcka bristerna är lika opålitliga som systemen de ska granska.
Detta är ett systemfel, inte ett implementationsfel. Vi har byggt en hel certifieringskultur kring mätvärden som visar sig kunna ljuga, och vi har gjort det i ett tempo där högriskapplikationer redan är i drift inom sjukvård, infrastruktur och säkerhetskritiska simuleringar.
Jag ser ändå en grund för optimism: forskarsamhället identifierar nu problemen med stor precision och börjar leverera konkreta alternativ – kompetensenvelope, C-Score, MTCR. Det är inte larm utan konstruktiv kritik med lösningar bifogade.
Nästa steg måste vara att dessa ramverk tas in i faktiska certifieringsprocesser och reglering – inte stannar som akademiska papper. EU:s AI-förordning är ett tillfälle. Frågan är om tempot i regelarbetet matchar tempot i driftsättningen.