Fyra av tolv AI-modeller kan toppa samma rankning – beroende på hur testet är upplagt
Samma AI-modell kan få vitt skilda resultat – beroende på hur testet utformas.
Rankningslistornas smutsiga hemlighet
Du har säkert sett dem — de stora topplistan där GPT-4, Gemini och Claude tävlar om förstaplatsen på populära riktmärken som MMLU och HellaSwag. De presenteras ofta som objektiva sanningar om vilken modell som är "bäst". Men en ny studie publicerad på arXiv avslöjar att det kan handla om en illusion.
Forskarna testade tolv öppna språkmodeller på nästan 3 700 frågor, men varierade de tekniska testinställningarna på 26 olika sätt — saker som frågeordning, hur svaret läses av systemet och hur uppmaningen är formulerad. Resultaten är svåra att ignorera: en och samma modell kan få vitt skilda resultat utan att modellen själv har förändrats det minsta. Modellen Gemma4-31b varierade mellan 31 och 89 procents korrekthet beroende enbart på testupplägg.
Ännu mer avslöjande: fyra av tolv modeller kunde nå förstaplats under någon konfiguration. Det är alltså inte modellernas faktiska förmåga som avgör vinnaren — det är testuppställningen. Forskarna efterlyser att rankningslistor genomför denna typ av känslighetsanalys innan resultat publiceras.
Detta är inte ett marginellt problem. Det rör vid grundvalen för hur vi som bransch fattar beslut om vilka modeller som är värda att satsa på.
När AI äter sig själv
Parallellt med rankningsproblemet växer en annan oro fram. En ny forskningsöversikt på arXiv kartlägger fenomenet modellkollaps — en självförstärkande försämringscykel som uppstår när generativa modeller tränas på sitt eget tidigare utdata.
Logiken är enkel och oroande: internet fylls i allt snabbare takt med AI-genererat innehåll. Nästa generation modeller tränas på detta innehåll. Kvaliteten sjunker lite. Nästa generation tränas på det sjunkna innehållet. Och så vidare. Forskarna beskriver det som en gradvis urholkning av tillförlitligheten — inte ett dramatiskt haveri, utan en tyst försämring som är svår att upptäcka i stunden.
Det är ett fundamentalt problem med hur vi försörjer AI-system med träningsdata, och det saknas ännu hållbara lösningar i stor skala.
Mönstret är bredare än så
Dessa två fynd är inte isolerade. Samma grundproblem — att vi mäter fel saker, eller mäter rätt saker fel — dyker upp i helt andra tillämpningsområden.
En granskning av riktmärkesdataset inom rumslig-temporal prognostisering, ett område där grafneurala nätverk dominerar, visar att enkla linjära modeller utan rumslig medvetenhet ibland presterar lika bra som eller bättre än sofistikerade nätverk. Dessutom har strukturell partiskhet hittats i dataset som genomgått förstadifferensering — en vanlig förbehandlingsteknik — vilket kan snedvrida jämförelser systematiskt.
Och det stannar inte vid mjukvarusystem. Forskare som granskade AION-1, en stor AI-grundmodell tränad på över 200 miljoner astronomiska objekt, fann att en enda förändrad kartläggningskanal — utan att bilddata rördes — förändrade samtliga värden modellen rapporterade. Effekten var upp till 4 400 gånger starkare än ett kontrollexperiment. Modellen förlitade sig på felaktig information om ett objekt överhuvudtaget detekterats, snarare än på den faktiska bildinformationen. I tolv av fyrtio mätfall översteg felet precisjonskraven för kommande storskaliga astronomiska undersökningar.
Med andra ord: en modell kan se ut att fungera utmärkt — ända tills verkligheten ställer krav som testramen aldrig förutsåg.
Problemet är inte AI — det är hur vi mäter det
Jag vill vara tydlig: detta är inte argument mot AI-utvecklingen. Det är argument för att vi behöver bli betydligt mer noggranna med hur vi utvärderar den.
Det pågår en enorm kapplöpning om att bygga allt kraftfullare modeller. Men om rankningslistorna vi använder för att avgöra vem som leder loppet är fundamentalt opålitliga, och om träningsdatan successivt försämras av syntetisk återmatning — då vet vi faktiskt inte riktigt var vi befinner oss.
Det är ett mätproblem lika mycket som ett tekniskt problem. Och mätproblem går att lösa — om vi tar dem på allvar.
Vår analys
Det som förenar de här forskningsfynden är ett mönster som är välbekant inom systemutveckling: vi optimerar för det vi kan mäta, inte nödvändigtvis för det som spelar roll. Rankningslistor ger ett enkelt tal att tävla om, men om det talet är känsligt för godtyckliga testinställningar är det i grunden ett dåligt styrmått.
Modellkollaps är kanske det långsiktigt allvarligaste problemet. Det är en strukturell sårbarhet inbyggd i hur hela ekosystemet fungerar — ju mer AI-genererat innehåll som flödar ut på webben, desto svårare blir det att hitta ren träningsdata. Det är ett problem som förvärras av framgång, inte av misslyckande.
Den goda nyheten är att båda problemen är identifierade och tekniskt hanterbara. Känslighetsanalys av riktmärken är genomförbart redan idag. Dataproveniens och kurering av träningsdata är aktiva forskningsområden. Men det kräver att branschen väljer att prioritera rigorös utvärdering framför snabb publicering av imponerande siffror. Det är en kulturförändring lika mycket som en teknisk utmaning.