Ny forskning ger ovanliga insikter om hur AI-modeller lär sig – och kastar nytt ljus på länge gåtliga fenomen

Mindre data – bättre träning?

Det låter kontraintuitivt, men ett nytt forskningsresultat från arXiv antyder att det ibland lönar sig att träna en AI-modell på ett mindre dataset med fler upprepningar, snarare än att mata in maximalt med data. Fenomenet, som forskarna döpt till "small-vs-large gap", har observerats tvärs över arkitekturer och optimeringsmetoder. Förklaringen verkar ligga i hur nätverkets lager formas och anpassas när samma information repeteras – en process som förstärker inlärningssignalen på ett sätt som större, mer varierade dataset inte gör. Det är en snygg påminnelse om att mer inte alltid är mer, och att det finns outforskad effektivitet att hämta i hur vi organiserar träningsdata.

Grokking – äntligen matematiskt gripbart

Ett annat fenomen som länge förbryllat forskare är så kallad grokking: att en modell kan memorera träningsdata under lång tid, för att sedan plötsligt – nästan dramatiskt – knäcka den underliggande logiken och börja generalisera. Nu har ett forskarlag presenterat den första kvantitativa formeln för att förutsäga när detta sker, med utgångspunkt i hur parameternormen utvecklas under träning med optimeringsalgoritmen AdamW. Formeln testades mot 26 oberoende körningar och landade på ett genomsnittligt fel på under 18 procent över ett 41-faldigt variationsområde – imponerande för ett fenomen som hittills nästan sett ut som magi. Kausalitetsproven är övertygande: förhindrar man parameternormens tillväxt uteblir grokking helt.

Glömska är inte vad vi trodde

Katastrofal glömska – att en modell raderar gamla kunskaper när den lär sig nya – är ett av de segaste problemen inom maskininlärning. Men ny forskning med glesa autoenkoders som diagnostikverktyg visar att bilden är mer nyanserad än så. Informationen raderas sällan. Den gömmer sig. Ju fler uppgifter en modell tränas på, desto otillgängligare blir tidigare lagrade koncept – inte försvunna, bara svåra att nå. Det skiftar problemformuleringen fundamentalt: framtida lösningar bör lika mycket handla om att bevara tillgängligheten till representationer som att förhindra faktisk informationsförlust.

Uppmärksamhetsmekanismen i delar

Transformatormodellers uppmärksamhetsmekanism är central i i princip alla moderna stora språkmodeller. En ny studie dissekerade 1 776 uppmärksamhetshuvuden i fem förtränade modeller och fann att mekanismen egentligen utför två separata beräkningar: en som omdirigerar information mellan positioner och en som viktar relevansen. Det viktigaste fyndet är praktiskt: de tidiga lagren i en modell kan förenklas kraftigt utan mätbar prestandaförlust. Att linjärisera de sju första lagren i en 125 miljoner parameters-modell kostade under fem procent i språkförståelse. Potentialen är stor – upp till 65 procent färre parametrar i uppmärksamhetslagren kan vara möjligt.

Kompakta begreppsrymder styr inlärningen

Hur lär sig en stor språkmodell av exempel som ges direkt i en prompt? Forskning på Llama-3-8B visar att det räcker med en begreppsrymd på 68–73 dimensioner – av totalt 4 096 möjliga – för att återskapa nära 80 procent av modellens förmåga att hantera strukturerade uppgifter. De återstående dimensionerna bidrar knappt alls. Modellerna organiserar alltså uppgiftsrelevant information kompakt och välordnat, inte utspritt över hela det interna representationsrummet. Det öppnar för mer precisa verktyg för att förstå och styra hur modeller resonerar.

Förstärkningsinlärningens dolda mekanism

Metoder som PPO och GRPO har länge använts för att finjustera förtränade språkmodeller med goda resultat – men utan att någon riktigt förstått varför de fungerar utan en separat kritikerkomponent. Ny forskning visar att uppdateringsprocessen automatiskt genererar något som matematiskt liknar en värdesgradient, en inlärningssignal som styr träningen i rätt riktning. Dessutom presenterar forskargruppen ett kriterium för att förutsäga när under förträningen förstärkningsinlärning ger störst utdelning – potentiellt värdefull information för alla som vill hushålla med beräkningsresurser.

Hjärnans inlärningsprincip – nu praktiskt genomförbar

Slutvinjetten är kanske den mest djärva: prediktiv kodning, en inlärningsmetod modellerad efter hjärnans beräkningsprinciper, har länge haft ett rykte om sig att vara långsam och svårskalad. Nu kopplar forskare metoden till hierarkiska gaussiska filter, vilket möjliggör lokala inlärningsregler i varje lager – utan global felspridning och utan iterationer. I tester på bildklassificering matchar den nya metoden traditionell bakåtpropagering i träningstid och presterar bättre vid kontinuerlig inlärning. Om resultaten håller i större skala är det ett genuint steg mot biologiskt trovärdig djupinlärning.