Så får svensk forskning AI-robotar att komma ihåg – och fatta säkrare beslut

Minnesrevolution löser grundläggande AI-problem

Ett av årets mest betydelsefulla genombrott kommer från forskning kring AI-modellers långtidsminne. Forskare har utvecklat Position-Adaptive Spectral Tapering (PoST), en metod som löser det kroniska problemet med att AI-modeller gradvis "glömmer bort" information i långa textsekvenser.

Problemet har länge plågat linjära AI-modeller som Mamba-2, RWKV-7 och RetNet. Traditionell slumpmässig initialisering leder till exponentiellt avtagande prestanda – modellerna tappar helt enkelt tråden ju längre texten blir. PoST-metoden kombinerar spektral omparametrisering med positionsanpassad skalning, vilket låter modellen dynamiskt justera sitt fokus beroende på var i texten den befinner sig.

Det eleganta med lösningen är att den kan integreras i befintliga modeller utan extra beräkningskostnader – en praktisk fördel som gör tekniken direkt användbar.

Säkrare beslut genom minnesbaserad intelligens

Parallellt har robotikforskningen tagit stora kliv framåt med utvecklingen av händelsecentrerad världsmodellering. Det nya ramverket låter autonoma robotar fatta säkrare beslut genom att söka i en kunskapsbank av tidigare erfarenheter.

Systemet fungerar genom att representera omgivningen som strukturerade semantiska händelser. När roboten står inför ett beslut söker den igenom sina tidigare upplevelser och väger samman relevanta lösningar. Genom att integrera fysikbaserad kunskap i processen uppmuntras robotar att välja manövrar som stämmer överens med observerad systemdynamik.

Tester med obemannade flygfarkoster visar att metoden fungerar inom realtidsbegränsningar samtidigt som den bibehåller transparent och konsekvent beteende – avgörande för säkerhetskritiska tillämpningar.

Effektivare träning och smartare molekyldesign

Infrastruktursidan har också sett viktiga framsteg. SAGE-optimeraren revolutionerar träningen av stora språkmodeller genom att dramatiskt minska minnesanvändningen. Där standardmetoden AdamW kräver minneslagring motsvarande dubbla modellstorleken, erbjuder SAGE en minneseffektiv adaptiv skala som fungerar som en "säker dämpare".

Inom läkemedelsutvecklingen har MolReAct-ramverket tacklet en central utmaning: att förbättra molekylers terapeutiska egenskaper samtidigt som förändringarna faktiskt går att genomföra i laboratoriet. Genom att kombinera validerade reaktionsmallar med specialiserade kemiska analysverktyg uppnådde systemet 10,4% bättre resultat än tidigare metoder – med 43% kortare optimeringstid.

Nya insikter om hur AI verkligen lär sig

På den teoretiska sidan har forskare presenterat en fascinerande hypotes: stora språkmodeller lär sig genom att glömma. Studien föreslår att dessa modeller bäst förstås som förlustbehäftig komprimering – de behåller endast information från träningsdatan som är relevant för specifika uppgifter.

Denna förståelse ger forskare ett nytt verktyg för att förutsäga modellprestanda baserat på graden av optimal komprimering. Samtidigt visar annan forskning att ofullkomliga verifieringssystem fungerar förvånansvärt bra för AI-träning – brusnivåer på upp till 15% försämrar endast prestanda med 2 procentenheter.