Liten modell krossar jätten – men AI förstår fortfarande inte sig själv
Liten AI-modell slår världens bästa matematikbevisare – men förstår ändå ingenting.
Liten modell, stort genombrott – men vad bevisar det egentligen?
Den kanske mest anmärkningsvärda studien den här veckan kommer från teamet bakom Pythagoras-Prover, publicerad på arXiv. Deras fyramiljarders-modell överträffar DeepSeek-Prover-V2 med sina 671 miljarder parametrar på riktmärket MiniF2F-Test. Det är inte ett litet hopp – det handlar om 167 gånger färre parametrar för bättre resultat.
Tekniken bakom heter Augmented Lean Formalisation (ALF) och handlar i korthet om att generera varianter av kända matematiska påståenden för att bygga ut träningsdata utan att varje ny instans behöver formellt verifieras. Kombinera det med progressiv träning – från enklare till svårare bevis – och du har ett recept som verkar slå brute force-skalning på fingrarna. Den större 32-miljardersmodellen sätter dessutom nytt rekord för öppen källkod med 93 procents träffsäkerhet på MiniF2F-Test.
Detta är ett genuint genombrott, inte akademiskt brus. Effektiv matematikbevisning med öppen källkod har direkta implikationer för allt från formell programverifiering till vetenskaplig forskning.
Den förbisedda parametern som styrde allt
En annan studie som förtjänar uppmärksamhet handlar om LoRA – den populära metoden för att finjustera stora språkmodeller resurseffektivt. Forskarnas fynd är elegant: skalningsfaktorn α, som länge behandlats som en biparameter, är i själva verket den dominerande drivkraften bakom effektiv optimering. Och det optimala värdet följer ett kvadratrotsförhållande med modellens rang – ett mönster som befintliga tumregler helt missar.
Resultatet är LoRA-α, ett ramverk som förenklar hyperparameterinställningen och ger konsekvent bättre prestanda. För oss som arbetar med finjustering i praktiken är detta mer värt än det låter. Färre gissningslekar med parametrar sparar både tid och beräkningskraft.
Liknande nykter ingenjörsnytta levererar studien om spegelgradient (Mirror Descent), en optimeringsmetod som fått förnyat intresse inom förstärkningsinlärning. Forskarna visar att metoden kan vara exponentiellt känslig för startvärden – en liten störning tidigt i träningen kan förstärkas dramatiskt. Lösningen, att förankra dynamiken med en Bregman-regulariseringsterm, låter teknisk men är i grunden en viktig påminnelse: reproducerbarhet är inte gratis.
Säkerhetsluckorna som mätverktyget missar
På säkerhetsfronten presenteras ett nytt ramverk som mäter angreppsmotstånd hos språkmodeller i beräkningskostnad snarare än antal försök. Genom att använda kumulativa flyttalsoperationer som måttstock synliggörs något viktigt: säkerhetsjustering via förstärkningsinlärning höjer den totala kostnaden för angrepp, men lämnar vissa skadekategorier oproportionerligt lättillgängliga. Det är ett mer ärligt sätt att mäta risk – och ett verktyg som branschen behöver.
Parallellt visar forskning om dataläckage att sådana fel nu kan spåras enbart utifrån modellens utdata, utan tillgång till träningskod. Metoden svarar på under en sekund och kräver ingen specialhårdvara. Den grundläggande begränsningen kvarstår dock: en välkalibrerad läcka kan vara omöjlig att skilja från en genuint stark modell utan externa referensvärden.
Grafer, rum och personlighet – tre öppna frågor
Tre studier bekräftar att det fortfarande finns områden där språkmodeller påtagligt haltar.
GraphInfer-Bench testar djupare grafbaserad slutledning – tänk penningtvättnätverk eller läkemedelsinteraktioner. Resultatet är nedslående: traditionella grafneurala nätverk presterar lika bra eller bättre än de starkaste språkmodellerna i nästan varje kategori. Grafbaserat resonemang är fortfarande en olöst utmaning.
På den rumsliga fronten finns däremot hopp. Två separata studier – en om konsekvensbaserad förstärkningsinlärning (OT-GRPO) och en om ramverket SVoT (State-aware Visualization-of-Thought) – visar att rumsligt tänkande kan förbättras markant, i ett fall med upp till 65 procentenheters förbättring på data utanför träningsfördelningen. Särskilt intressant är att OT-GRPO uppnår detta utan märkt träningsdata.
Slutligen: kan vi lita på att en modell vet hur den beter sig? En studie om psykometrisk testning av språkmodeller ger ett delvis nedslående svar. Det välkända femfaktorstestet (Big 5) duger inte för att förutsäga modellbeteende. Den mer situationsspecifika teorin om planerat beteende fungerar bättre – men bara inom samma konversation, och bara för beteenden förankrade i träningsdata. Modeller som fjäskar gör det alltså utanför vad vi kan mäta i förväg.
Vår analys
Den här veckan illustrerar något jag tycker är viktigt att hålla i huvudet: genombrott och begränsningar är inte varandras motsatser – de är två sidor av samma mognadsprocess.
Pythagoras-Prover och LoRA-α visar att vi inte alltid behöver bygga större, vi behöver bygga smartare. Det är en trend som accelererar och som har verkliga konsekvenser för hur tillgänglig kraftfull AI kan bli.
Samtidigt är GraphInfer-Bench och psykometristudien nödvändiga nykterhetspiller. Språkmodeller är fortfarande mönsterigenkänningssystem med imponerande bredd men påtagliga blinda fläckar. Att vi nu får bättre verktyg för att mäta dessa luckor – inom säkerhet, dataläckage och beteendeförutsägelse – är i sig ett framsteg.
Utvecklingsriktningen pekar mot mer modulär, mätbar och effektiv AI. Det är en riktning jag är genuint optimistisk inför – inte för att problemen försvinner, utan för att vi blir bättre på att se dem.