Ny AI-arkitektur lovar insyn i modellers inre beräkningar – presterar i nivå med GPT-2

Svarta lådan börjar öppnas

Frågan om AI-transparens har länge stannat vid det politiska och etiska planet – deklarationer, regelverk, principdokument. Men vad händer när kravet på genomlysbarhet möter den faktiska tekniken? Under den senaste veckan har tre separata forskningspapper publicerats på arXiv som tillsammans målar upp en bild av ett fält i rörelse.

Det mest principiellt intressanta av dem presenterar Stream Recursion Model (SRM) – en helt ny modellarkitektur vars uttalade syfte är att göra interna beräkningar möjliga att studera och verifiera. I stället för att stapla lager på lager som i traditionella transformermodeller, organiserar SRM sina beräkningar i flera samverkande flöden som förfinas genom återkommande steg. Tanken är att varje flöde ska kunna studeras separat: vart tar informationen vägen? Vilket flöde bidrar till vad? Hur fördelas beräkningsbördan?

Resultaten är lovande. Modellen presterar i paritet med GPT-2 räknat per parameter, och analyser visar på tydlig och konsekvent specialisering mellan flödena. Det är alltså inte bara ett teoretiskt ramverk – det finns faktisk beteendestruktur att observera och mäta. Forskarnas slutsats är att SRM kan utgöra en praktisk grund för skalbar mekanistisk tolkningsbarhet: förmågan att göra verifierbara påståenden om hur en modell faktiskt fungerar inifrån, inte bara vad den producerar utåt.

Det är en distinktion som förtjänar att understrykas. Mycket av vad som idag kallas förklarbar AI handlar om att tolka utdata – att i efterhand rationalisera varför en modell gav ett visst svar. SRM-ansatsen är mer ambitiös: att bygga in genomlysbarheten i själva arkitekturen från grunden.

Dolda fallgropar i träningsprocessen

Parallellt med detta synliggör de andra två forskningspappren problem som länge legat dolda i hur vi tränar moderna AI-modeller – och erbjuder konkreta lösningar.

Ett välkänt problem inom destillation, processen där en mindre modell lär sig av en större, är att vägledningssignalen inte alltid är meningsfull. Den befintliga metoden Direct-OPD ger lika stor vikt åt alla träningssteg – oavsett om lärarmodellen faktiskt har något att bidra med eller inte. Den nya metoden S²D-OPD löser detta genom att rangordna inlärningstillfällena och enbart behålla de tio procent där lärarmodellen visar tydliga beteendeförändringar. I tester med modeller på mellan 1,7 och 8 miljarder parametrar slog den selektiva metoden sin föregångare i sju av åtta försök på krävande matematikuppgifter – utan extra beräkningskostnad.

Ännu mer slående är det tredje papprets fynd. Forskarna beskriver ett systematiskt kollapsmönster vid destillation: en modell som tränades på matematikuppgifter klättrade från 25 till 46 procents noggrannhet på tio steg – för att sedan rasa ned till 11 procent utan möjlighet till återhämtning. Det paradoxala: det tekniska justeringsmåttet fortsatte att förbättras under hela fallet. Systemet signalerade framgång medan det i praktiken kollapsade.

Roten till problemet visade sig vara att olika lager i lärar- och elevmodeller fyller olika roller, vilket gör djupbaserad anpassning kontraproduktiv. Lösningen, LastOPD, begränsar inlärningssignalen till enbart det sista lagret och fasar gradvis över till traditionell tokenbaserad träning. Metoden förbättrar resultaten med upp till 5,55 procentenheter och halverar i praktiken den träningstid som krävs för att nå samma slutprestanda.

Tre papper, ett gemensamt tema

Det som förenar dessa tre resultat är något som sällan diskuteras i termer av transparens: vad händer egentligen under träning, och kan vi lita på det vi mäter? Kollapspappret visar att etablerade mätvärden kan ljuga. S²D-OPD visar att okritisk vägledning kan vara värre än ingen alls. Och SRM visar att det faktiskt går att designa modeller vars inre struktur kan studeras direkt.

Det är inte tre isolerade nyheter. Det är tre delar av ett pussel som pekar i samma riktning: mot AI-system som vi faktiskt kan förstå, verifiera och lita på – inte bara hoppas på.