Drygt hälften rätt – det är vad toppmodellerna från Google, Anthropic och OpenAI klarar på oberoende kunskapsprov

Hälften rätt är inte ett godkänt betyg

När AI-bolagen presenterar sina senaste modeller handlar det nästan alltid om rekord. Bättre än föregångaren, bättre än konkurrenten, ibland till och med bättre än mänskliga experter. Men vad händer när oberoende forskare designar testerna — utan hänsyn till vad modellerna råkar vara tränade på?

Det är precis vad tre färska riktmärken undersöker, och resultaten är värda att ta på allvar.

Forskarna bakom KINA (Knowledge Index of Noah's Ark) ville täppa till ett välkänt problem: att många befintliga kunskapstester är för grova, dåligt annoterade eller för smala för att ge rättvisande resultat. Deras lösning var 899 frågor fördelade över hela 261 finkorniga ämnesområden, testade på 42 modeller från 13 laboratorier. Resultatet? Googles Gemini-3.1-Pro-Preview toppade listan med 53,17 procent rätt. Anthropics Claude-Opus-4.6 landade på 49,92 procent och OpenAIs GPT-5.4 på 48,55 procent.

Det är inte katastrofalt — men det är långt ifrån imponerande. Och strukturen i resultaten är kanske det mest talande: en liten toppgrupp klättrar över 48 procent, en tät mellangrupp spannar 38–45 procent, och de svagaste modellerna presterar knappt bättre än slumpmässig gissning. Tillgång till externa verktyg förbättrade siffrorna med upp till fem procentenheter — en påminnelse om att modellerna i sig inte är allsmäktiga.

När diagrammet stjälper mer än det hjälper

Ett annat riktmärke, VAMPS (Visual-Assisted Mathematical Problem Solving), ger en ännu mer oväntad bild. Forskarna samlade 1 168 matematikuppgifter från iranska universitetsintagningsprov — problem där grafritning är en naturlig och logisk lösningsstrategi, exempelvis för att hitta skärningspunkter eller extremvärden.

Slutsatsen är nästan svår att ta in: AI-modellerna presterar genomgående bättre utan diagrammen. Alltså presterar de sämre när de får tillgång till det verktyg som borde underlätta.

Som systemutvecklare tycker jag det här är fascinerande och lite nedslående på samma gång. Det pekar på en grundläggande svaghet i hur dagens multimodala modeller hanterar externalisering av problem — förmågan att flytta ut ett resonemang till ett visuellt verktyg och sedan läsa tillbaka resultatet korrekt. Det är precis den förmågan som är central i ingenjörsmässigt och vetenskapligt arbete. Att den brister är inte en detalj, det är en strukturell begränsning.

Modellerna bekräftar sina egna antaganden

Den tredje studien, FALSIFYBENCH, borrar djupare i ett ännu mer grundläggande problem: induktivt resonemang. Ramverket bygger på det klassiska Wason 2-4-6-testet, där modellen måste lista ut en dold regel genom att föreslå exempel och tolka återkoppling. Det kräver att modellen aktivt försöker motbevisa sina egna hypoteser — inte bara bekräfta dem.

Ingen av de tolv testade modellerna når ens i närheten av optimal prestanda. Men det finns ett tydligt mönster: modeller som ägnar sig åt negativ testning — som systematiskt försöker hitta undantag snarare än bekräftelser — presterar konsekvent bättre. Det är ett beteende som är central i vetenskapligt tänkande, men som de flesta modeller verkar ha svårt att upprätthålla.

Det är en påminnelse om att en modell som låter säker inte nödvändigtvis är säker. Bekräftelsepartiskhet är inte bara ett mänskligt problem.

Marknadsföring möter verklighet

De tre studierna målar tillsammans en bild som AI-bolagen sällan kommunicerar i sina lanseringsevenemangs pressmeddelanden. Det handlar inte om att modellerna är värdelösa — tvärtom är de anmärkningsvärt kapabla inom många områden. Men det finns tydliga, systematiska svagheter som inte försvinner bara för att man byter ut MMLU mot ett nyare test.

Det är egentligen goda nyheter för branschen som helhet. Oberoende, väldesignade riktmärken är precis det verktyg vi behöver för att styra utvecklingen rätt — mot verklig förmåga snarare än välpolerad marknadsföring.