Så lånar svenska forskare från fysiken för att bygga smartare AI

Fysikens lagar möter artificiell intelligens

En våg av innovativ forskning från svenska universitet visar hur klassiska vetenskaper kan förbättra modern AI-utveckling på grundläggande sätt. Forskare tillämpar nu allt från termodynamiska principer till biologisk neuromodulering för att lösa några av dagens mest utmanande problem inom maskininlärning.

Termodynamiken visar vägen framåt

I en banbrytande studie från arXiv har forskare utvecklat en metod som kombinerar termodynamiska principer med förstärkningsinlärning. Genom att tolka belöningsparametrar som koordinater på en geometrisk yta och minimera så kallat överskottsarbete, kan optimala träningsscheman skapas som följer geodetiska linjer i detta matematiska rum.

Resultatet är algoritmen MEW (Minimum Excess Work), som ger en principiell metod för temperaturminskning inom förstärkningsinlärning. "Detta följer en etablerad tradition av att använda statistisk mekanik för att förstå maskininlärning bättre", förklarar forskarna.

Geometri förenklar komplexa modeller

Parallellt har ett annat forskarteam presenterat ett geometriskt ramverk som automatiskt förenklar djupa neurala nätverk under träningsprocessen. Metoden bygger på principen om minimal beskrivningslängd och använder ett kopplat Ricci-flöde med en ny "MDL-drivterm".

Med en beräkningskomplexitet på O(N log N) per iteration och garantier för numerisk stabilitet, pekar forskningen mot mer autonoma och tolkbara AI-system genom att förena geometrisk djupinlärning med informationsteoretiska principer.

Hjärnan inspirerar nya arkitekturer

Från Chalmers kommer NeuroLoRA, en biologiskt inspirerad teknik som förbättrar hur stora språkmodeller anpassas till nya uppgifter. Metoden efterliknar hjärnans neuromodulering – förmågan att dynamiskt reglera nervaktivitet baserat på sammanhang.

Till skillnad från tidigare statiska system introducerar NeuroLoRA en "neuromoduleringsport" som anpassar modellens beteende efter textens innehåll. Tester visar överlägsna resultat inom flervalsuppgifter, matematiska problem och naturvetenskapliga frågor.

Orsakssamband och linjär dynamik

Forskare har även presenterat HCP-DCNet, en AI-arkitektur som förstår orsakssamband genom att dela upp kausala scenarier i återanvändbara byggblock. Systemet kan hantera både kontinuerlig fysisk dynamik och diskret symbolisk slutledning, med förmågan att autonomt förbättra sig själv.

Parallellt visar annan forskning att stora språkmodeller, ofta betraktade som ogenomträngliga "svarta lådor", faktiskt kan beskrivas med överraskande enkla linjära modeller. En 32-dimensionell linjär modell kunde återskapa GPT-2:s beteende med nästan perfekt noggrannhet.

Praktiska tillämpningar växer fram

Denna teoretiska forskning får redan praktiska tillämpningar. Inom kemisyntesen har RetroReasoner utvecklats – en språkmodell som förutsäger vilka utgångsmaterial som behövs för att skapa specifika produktmolekyler. Detta kan betydligt påskynda utvecklingen av nya läkemedel.

Samtidigt har forskare utvecklat teoretiska grunder för temperaturstyrning i kontrastiv inlärning och nya metoder för förstärkningsinlärning med diffusionsbaserade språkmodeller, vilket visar på en bred front av metodutveckling.