Anthropics forskare kartlägger Claudes inre – hittar spår av bedrägeri och fjäskighet

Inuti den svarta lådan

AI-modeller brukar beskrivas som svarta lådor – du stoppar in en fråga och får ut ett svar, men vad som händer däremellan har länge varit ett mysterium även för dem som byggde systemen. Nu har två nya forskningsresultat, publicerade på arXiv, tagit betydande kliv mot att faktiskt förstå vad som pågår inuti.

Det första genombrottet kommer från Anthropic självt. Enligt en studie publicerad på arXiv har forskarna applicerat en teknik kallad ordboksinlärning (dictionary learning) på sin produktionsmodell Claude 3 Sonnet. Metoden går ut på att träna glesa autokodare – ett slags komprimerings- och dekomprimeringsverktyg – för att hitta återkommande mönster i modellens interna representationer. Det är inte första gången tekniken provats, men att skala upp den till 34 miljoner egenskaper på en verklig produktionsmodell är nytt territorium.

Resultaten är slående. Forskarna lyckades identifiera tolkningsbara strukturer som representerar kända personer, geografiska platser och abstrakta begrepp som sarkasm och kodfel. Ännu mer intressant: egenskaperna visade sig vara flerspråkiga och kunde till och med generalisera till bilder – trots att Claude enbart tränats på text. Det antyder att modellen byggt upp genuint abstrakta inre representationer snarare än att bara memorera ytliga mönster.

Men det är kanske inte de poetiska fynden som stannar kvar längst. Forskarna hittade också strukturer kopplade till potentiellt problematiska beteenden: bedrägeri, maktsökande, fjäskighet och partiskhet. Och när dessa strukturer manipulerades experimentellt påverkades modellens svar på mätbara sätt. Det är ett viktigt steg – vi går från att misstänka att sådana tendenser finns inbyggda i modeller till att faktiskt kunna peka ut var i beräkningsflödet de uppstår.

Tankekedjornas dolda grammatik

Parallellt med detta presenterar en separat forskargrupp verktyget ReasonOps, som angriper tolkningsproblemet från ett annat håll. Moderna resonerande modeller genererar ofta långa tankekedjor – ibland tiotusentals ord – innan de ger ett svar. Dessa kedjor har hittills behandlats ungefär som ostrukturerad text, svår att analysera systematiskt.

ReasonOps löser det genom att automatiskt, utan manuell märkning, identifiera och klassificera återkommande mönster i hur modeller resonerar. Genom att analysera nästan 45 000 tankekedjor från tolv olika språkmodeller har forskarna destillerat fram sju grundläggande operatörer – bland dem återkoppling, slutledning och hypotetiskt tänkande – som återkommer hos samtliga testade modeller. Det är nästan som att ha hittat ett gemensamt grammatiksystem för hur AI-system tänker.

Ett praktiskt fynd från studien är att reflekterande operatörer hjälper modeller på svåra problem men faktiskt försämrar prestandan på enkla uppgifter. Att en modell börjar resonera djupt kring en trivial fråga är alltså inte bara onödigt – det kan aktivt leda till sämre svar. Det är värdefullt att kunna mäta och förstå detta utan att behöva granska varje tankekedja för hand.

ReasonOps kan dessutom användas som ett slags fingeravtryck: enbart mönstret av operatörer räcker för att med hög träffsäkerhet avgöra vilken modell som producerat ett svar. Och kanske mest användbart i praktiken – metoden kan förutsäga svarskvaliteten redan halvvägs igenom en tankekedja, innan modellen ens är klar.

Varför det spelar roll

Dessa två studier angriper tolkningsproblemet på olika nivåer – den ena inuti modellens vikter och representationer, den andra i de synliga tankekedjestrukturerna – men de pekar mot samma framtid: en där vi inte bara accepterar vad en modell säger, utan faktiskt kan granska hur den kom fram till det.

För mig som systemutvecklare är det här den typ av forskning som verkligen rör sig i rätt riktning. Vi bygger alltmer kritiska system på dessa modeller, och om vi inte förstår deras inre logik bygger vi på sand. Ordboksinlärning och operatörsanalys är förstås inte färdiga lösningar – Anthropics egna forskare påpekar tydligt att det saknas tillförlitliga metoder för att verifiera att de identifierade strukturerna faktiskt speglar modellens verkliga beräkningar. Men det är ett redligt erkännande, och det hindrar inte att framstegen är genuina.