AI-forskningen slår hål på myter – och avslöjar nya svagheter

Grundläggande missuppfattningar rättas till

Låt oss börja med något som ruckar på ett vanligt antagande. Många i branschen har lutat sig mot påståendet att transformatorer — arkitekturen bakom i princip alla moderna språkmodeller — är så kallade Turing-kompletta, alltså i teorin kapabla att lösa vilken beräkning som helst. En ny studie på arXiv slår hål på det resonemanget. Bevisen för Turing-kompletthet bygger på ett scenario där modellen tillåts växa obegränsat beroende på problemet, men det är inte hur verkliga modeller används. I praktiken är kontexthanteringen — hur modellen begränsar och hanterar sitt minnesfönster — den avgörande faktorn för vad modellen faktiskt kan beräkna. Det är ingen detalj. Det är en grundläggande designfråga.

Samtidigt får vi äntligen en mekanistisk förklaring till varför mer träningsdata konsekvent ger bättre modeller. Forskare har med hjälp av matematiska representationer av tolv olika textkorpusar visat att ökad datamängd progressivt täcker fler textuella mönster — och att det kvardröjande felet korrelerar starkt med den andel av mönsterrymden som ännu inte täcks. Sambandet är nära linjärt i logaritmisk skala med ett förklaringsvärde på upp till 96 procent. Det är inte magi. Det är geometri.

Smartare resonemang, på flera sätt

En av veckans mest praktiskt relevanta rön handlar om hur modeller resonerar. Två separata forskningsgrupper angriper problemet från olika håll. Diverge-to-Induce Prompting (DIP) låter modellen generera flera övergripande tankesätt innan den landar i ett svar, i stället för att låsa sig vid ett enda spår. Resultaten slår konsekvent metoder som bygger på ett enda resonemangsspår — och kräver inga extra träningsexempel.

Ett annat ramverk, ProxyCoT, tar sig an en annan flaskhals: att moderna modeller klarar enorma inmatningar på upp till tio miljoner tecken men ändå kämpar med komplex slutledning över långa texter. Metoden tränar modellen att först resonera på en kortare, fokuserad deltext och sedan förankra tankegångarna i det fullständiga dokumentet. Resultaten är övertygande — och modellerna generaliserar förmågan till uppgifter utanför träningsdomänen.

Glömska, komprimering och styrning

Katastrofalt glömande — när en modell skriver över tidigare kunskap när den lär sig något nytt — fortsätter att vara ett ihållande problem. Två forskningsgrupper presenterar varsitt angreppssätt. CP-MoE bygger på en arkitektur med flera specialiserade experter och en regleringsmekanism som selektivt skyddar viktiga historiska parametrar. DG-Hard tar en annan väg: den analyserar viktuppdateringarna matematiskt och filtrerar bort vad forskarna kallar spektralt brus — och återställer i tester inte bara glömda förmågor utan även säkerhetsegenskaper som försämrats under finjustering, utan att säkerhetsdata användes i processen.

För den som vill driftsätta modeller med begränsade resurser är kvantisering — komprimering av modellvikterna — ett attraktivt alternativ. Men en ny studie visar att kraftigt komprimerade modeller (2–3 bitar) producerar betydligt fler hallucinationer och instabila resultat vid kvalitativ textanalys. Med rätt flerstegsgranskning av svaren förbättras stabiliteten markant även hos de mest komprimerade varianterna.

På den tekniska styrningsfronten presenteras MAGS, som övervakar modellens interna representationer i realtid och applicerar korrigeringar geometriskt — bara när och där avvikelser från ett korrekthetsmönster faktiskt uppstår. Det är ett elegant sätt att undvika den trubbiga effekten av statiska korrigeringsvektorer.

Var går gränserna?

Kanske veckans mest tankeväckande fynd handlar om optimeringsproblem. Forskning visar att modeller klarar att välja rätt matematisk struktur för ett problem, men misslyckas när de ska överföra konkreta värden och index från problembeskrivningen till modellen — något forskarna kallar bindningsgränsen. Metoden BIND löser detta genom att låta modellen läsa numerisk data programmatiskt från strukturerade filer, vilket förbättrade träffsäkerheten hos GPT-5 från 86,2 till 95,8 procent.

Slutligen: hur utvärderar vi allt detta rättvist? Datakontaminering — att testexempel redan finns i träningsdata — snedvrider riktmärken. Den nya metoden JECS behandlar rensning av testdata som ett gemensamt problem för flera modeller samtidigt, med statistiska garantier för kontrollerad felprocent. Det är precis den typ av metodologisk grundstädning som fältet behöver för att vi ska kunna lita på de siffror vi jämför.