AI-systemens sköra verklighet – kollapsar när zoomen ändras

När AI-systemen lämnar laboratoriet

AI-branschens imponerande demonstrationer och benchmarks börjar få mothugg från forskare som granskar hur dessa system faktiskt presterar utanför kontrollerande testmiljöer. Två färska studier från arXiv kastar ljus över en obekväm sanning: AI-system som rapporterar över 85% träffsäkerhet på standardtester kan kollapsa helt när de ställs inför vardagliga variationer.

Gränssnittnavigering som spegelbild av större problem

Den första studien fokuserar på AI-modeller tränade för att förstå och navigera grafiska användargränssnitt – en grundläggande färdighet för AI-assistenter som ska hjälpa oss med datoruppgifter. Forskarna utvecklade ramverket GUI-Perturbed för att testa robusthet genom kontrollerade störningar, och resultaten är slående.

När modellerna ställs inför så enkla förändringar som webbläsarzoom på 70% – något varje människa hanterar utan reflektion – sjunker prestandan med 27-56 procentenheter. Ännu mer avslöjande är att AI:n kämpar särskilt med rumsliga instruktioner som "klicka på knappen till höger" jämfört med direkta kommandon som "klicka på Spara-knappen".

Detta pekar på en fundamental brist i hur AI-system bygger upp förståelse. Där människor utvecklar robust rumslig och kontextuell förståelse bygger AI-modellerna på skörare mönsterigenkänning som bryts ned av små avvikelser.

Dolda mekanismer bakom felaktigt beteende

En andra studie dyker djupare i de underliggande mekanismerna och kartlägger så kallade uppmärksamhetsfällor i GPT-2-liknande modeller. Forskarna upptäckte att modellerna systematiskt ägnar oproportionerligt mycket uppmärksamhet åt textens första position, oavsett dess faktiska relevans för uppgiften.

Genom strukturell analys och orsaksintervention spårade forskarna fenomenet till samspelet mellan tre tekniska komponenter: inlärda frågepartiskheter, transformationer av positionskodning och strukturen i nyckelprojektion. Det mest oroande är att varje komponent individuellt kan tas bort utan att eliminera problemet helt, vilket tyder på att dessa systematiska fel kan uppstå genom olika vägar.

Testerna bekräftade samma beteende inom naturligt språk, matematik och kod – det här är alltså inte ett isolerat problem utan en genomgripande svaghet i hur dessa arkitekturer fungerar.

Finjustering förvärrar situationen

En särskilt överraskande upptäckt från gränssnittsstudien är att traditionella metoder för att förbättra AI-prestanda faktiskt kan göra saker värre. När forskarna försökte förbättra modellerna genom finjustering med utökad data fick de motsatt effekt – prestandan försämrades ytterligare.

Detta utmanar grundläggande antaganden inom maskininlärning och visar att "mer data" inte automatiskt löser robusthetsproblemet. Det kan till och med förvärra det genom att förstärka skörare mönster som inte håller i verkliga miljöer.

Vad betyder detta för AI-utvecklingen?

Båda studierna understryker samma centrala poäng: standardiserade benchmarks och kontrollerade testmiljöer ger en missvisande bild av AI-systems verkliga kapacitet. De imponerande siffror som AI-företag presenterar kan vara mindre relevanta än vi trott för hur systemen kommer prestera när de används av riktiga användare i varierande miljöer.