AI-modellerna hittar rätt svar – men av fel skäl
AI:n ger rätt svar – men av helt fel skäl, visar ny forskning.
När rätt svar inte räcker
Föreställ dig en student som alltid kryssar för rätt alternativ på ett flervalstest – men av helt fel skäl. Det är ungefär vad en ny granskningsmetod från arXiv avslöjar om stora språkmodeller. Metoden, kallad interventional grounding audits, testar om modellens synliga resonemangssteg faktiskt bygger på de premisser den påstår sig använda. Resultatet är häpnadsväckande: i 66 procent av korrekt lösta problem innehöll resonemanget minst ett steg som var helt okänsligt för en direkt premissförändring. Modellen hittade rätt svar – men av fel skäl.
Detta är inte ett trivialt problem. Det rör vid kärnan av hur vi utvärderar och litar på AI-system i kritiska sammanhang. En modell som konsekvent drar rätt slutsatser via felaktiga vägar är som en bro som håller – tills belastningen förändras.
Samma tema återkommer i en parallell studie som föreslår tävlingen AIMO Interpretability Challenge, vars syfte är att skilja på stabilt och bedrägligt resonemang hos matematiska språkmodeller. Poängen är densamma: hög träffsäkerhet på slutsvar berättar inte om modellen faktiskt förstår – eller om den utnyttjar bräckliga mönstergenvägar.
Arkitektur slår skala
En annan studie från veckan utmanar en av de mest seglivade föreställningarna inom AI-utveckling: att större modeller automatiskt konvergerar mot likartad förmåga. Den så kallade Capability Convergence Hypothesis hävdar tvärtom att verklig kapacitet kräver rätt arkitektonisk design – specifikt en kombination av en komprimerande kanal och en indexkanal för informationsåterhämtning. Skalning ger representationsmässig likhet på köpet, men förmåga måste förtjänas genom konstruktionsval.
Det är en viktig påminnelse för ett fält som länge dyrkat parametrar som valuta. Och studien förtjänar extra respekt för sin ovanliga transparens: forskarna redovisar öppet att ett av deras förregistrerade experiment visade sig vara felaktigt.
Mätverktygen håller inte måttet
Men hur vet vi ens hur bra modellerna är? Inte lika väl som vi tror, visar det sig. En studie analyserade 140 000 genererade svar och fann att enbart valet av hur en fråga presenteras kan förändra en modells resultat så drastiskt att jämförelser mellan modeller helt tappar sin giltighet. Skillnaden i formatkänslighet varierade mer än 30 gånger mellan olika modeller.
Samtidigt avslöjades ett utbrett tekniskt fel i det repetitionsstraff som används i de flesta populära körningsramverk – däribland HuggingFace, vLLM och llama.cpp. Vid en vanlig inställning förändrades upp till 96 procent av alla genererade ord, och andelen korrekt formaterade JSON-svar rasade från 97 till 23 procent. En fix finns redan i HuggingFace men är inaktiverad som standard. Det är det slags tyst fel som kan förstöra produktionssystem utan att någon förstår varför.
Strategiskt tänkande – fortfarande en svag länk
På det mer konkreta planet: kan AI fatta kloka beslut i realtid under press? En studie byggde riktmärket SportD med 478 bollbeslut från VM 2022 och bad bildspråksmodeller avgöra om spelaren borde skjuta eller passa. Den bästa AI-modellen valde optimalt i 31,4 procent av fallen – mot verkliga spelares 38,9 procent. Ännu mer avslöjande var tendensen att imitera spelarens faktiska val snarare än att självständigt utvärdera alternativen. Det är en fingervisning om att modellerna fortfarande är skickligare på att efterlikna mönster än att resonera strategiskt.
Och så finns det forskning som påminner om att vi själva förändras i mötet med AI. En artikel lyfter fram hur den återkommande cykeln av förfrågningar, bedömningar och justeringar kan forma hjärnans nervbanor – och att medveten närvaro i de korta ögonblicken av reaktion kan göra skillnad. Det är en mjukare signal, men inte en oviktig sådan.
Veckans gemensamma nämnare
Om det finns en röd tråd genom veckans forskning är det denna: vi utvärderar AI-system med verktyg som inte är tillräckligt vassa. Riktmärkena mäter fel saker, formateringsvariansen döljer sanningen, och repetitionsstraffet beter sig oförutsägbart. Parallellt börjar forskarvärlden ifrågasätta de grundläggande antaganden som styrt fältets riktning – att skala löser allt, att rätt svar bevisar rätt resonemang.
Vår analys
Den här veckan är ett bra exempel på att AI-forskningen håller på att mogna. Det är inte längre enbart kapplöpning om större modeller och högre benchmarkpoäng – nu granskas hur modellerna tänker, hur vi mäter dem och vad som faktiskt driver förmåga.
Det är i grunden positivt. Fältet som identifierar sina egna svagheter är ett fält som rör sig i rätt riktning.
Den kritiska lärdomen är att vi behöver ett mer nyanserat utvärderingsspråk. FSI- och PSI-måtten för formatpåverkan, AIMO-tävlingen för matematisk robusthet och interventionsmetoden för slutledningsgranskning pekar alla åt samma håll: vi behöver mäta hur modeller löser problem, inte bara om de löser dem. För oss som bygger system ovanpå dessa modeller är det en direkt uppmaning att ifrågasätta de mätvärden vi tar för givna – och att aldrig förutsätta att ett korrekt utfall bevisar ett korrekt resonemang.