Forskare avslöjar allvarliga brister i AI-säkerhetsutvärderingar

Forskningsgenombrott blottlägger utvärderingsproblem

En våg av nya forskningsresultat från arXiv avslöjar att AI-branschens nuvarande tillvägagångssätt för säkerhetsutvärdering är fundamentalt bristfälligt. Samtidigt pekar studierna mot konkreta lösningar som kan förändra hur vi bygger säkrare AI-system.

Det kanske mest alarmerande upptäckten kommer från forskning som visar att enkla medelvärdesberäkningar – den dominerande metoden för att rangordna AI-system – kan ge kraftigt vilseledande resultat. När utvärderingsdata är ofullständig och uppgifterna varierar kraftigt i svårighetsgrad, sjunker korrelationen mellan beräknade rangordningar och verkliga prestanda från perfekta 1,000 till endast 0,809.

"Detta är som att försöka bedöma en students kunskaper genom att bara titta på genomsnittsbetyg, utan att ta hänsyn till vilka kurser som var svårare", förklarar forskarna. Problemet är särskilt allvarligt för fysiska AI-system som självkörande fordon, där testdata ofta är ofullständig och svårighetsskillnader kan vara extrema.

Säkerhetsluckor i flerturssamtal

Parallellt avslöjar annan forskning hur "jailbreak"-attacker mot stora språkmodeller har blivit alltmer sofistikerade. Dessa attacker sprider skadligt innehåll över flera samtalsvarv för att kringgå säkerhetsfilter – en teknik som befintliga försvarssystem har svårt att hantera.

Problemet ligger i att nuvarande säkerhetsmetoder behandlar alla samtalsvarv lika, trots att vissa varv är avgörande för attackens framgång medan andra bara är distraktioner. Forskare har dock utvecklat TRACE, en ny teknik som analyserar varje samtalsvarv individuellt och bedömer dess faktiska bidrag till slutresultatet.

Tester visar att denna metod förbättrar attackframgången med cirka 25 procent – vilket paradoxalt nog också gör det möjligt att bygga effektivare försvar genom att förstå attackmönstren bättre.

Tillförlitlighetsmätning får genombrott

En tredje forskningsgrupp har tagit itu med ett annat kritiskt problem: hur man mäter extremt hög tillförlitlighet hos AI-system. I säkerhetskritiska tillämpningar är skillnaden mellan 99,9% och 99,999% tillförlitlighet avgörande – den lilla skillnaden resulterar i tio gånger fler fel.

Forskarna upptäckte att AI-fel följer systematiska mönster där en liten del av inmatningarna står för majoriteten av problemen. Genom att använda korsentropy-metoden utvecklade de en samplingsdistribution som fokuserar på felbenägna inmatningar, vilket minskar nödvändiga beräkningar med upp till 156 gånger.

Lösningar från oväntat håll

Intressant nog kommer en av de mest lovande lösningarna från psykologin. Item Response Theory (IRT), ursprungligen utvecklad för att analysera provresultat, behåller en korrelation på över 0,996 även under svåra utvärderingsförhållanden. Detta visar att AI-branschen kan dra nytta av etablerad forskning från andra områden.

Samtidigt arbetar forskare på att göra AI-system mer genomskinliga genom att koppla samman konsistensbaserad diagnostik med förklarbar AI. Denna kombination kan bidra till att göra AI-system mer förståeliga och ansvarstagande – något som blir allt viktigare inom områden som sjukvård och juridik.

Vägen framåt

Dessa forskningsresultat kommer vid en kritisk tidpunkt när AI-system blir allt mer integrerade i samhällskritiska funktioner. Upptäckten av systematiska svagheter i våra utvärderingsmetoder är visserligen oroande, men forskarnas konkreta lösningsförslag visar att problemen är lösbara.