Forskarna slår fast: språkmodellernas svagheter sitter i själva grundkonstruktionen
Språkmodellernas säkerhetsbrister är inbyggda i grunden – och kan inte lagas bort.
Inte ett buggfix-problem — ett arkitekturproblem
Det finns en frestande tanke inom AI-utveckling: att de problem vi ser i dag med språkmodeller är som buggar i kod — identifierbara, isolerbara och åtgärdbara med rätt patch. Den bilden håller på att spricka.
Vid International Conference on Machine Learning i juli presenterades forskning som, enligt MIT Technology Review, visar att stora språkmodeller lider av en grundläggande säkerhetsbrist som inte går att laga bort med konventionella metoder. Och det är värt att stanna upp vid vad "grundläggande" faktiskt innebär här — det handlar inte om ett implementationsval som kan göras om, utan om hur modellerna per definition behandlar information.
En språkmodell ser inte världen som vi gör. Den tar emot en obruten ström av text — användarens frågor, modellens egna svar, systeminstruktioner, kopierat innehåll — allt i ett enda flöde. För att hålla reda på vem som sagt vad används särskilda märkord som delar upp texten i roller. Det är ett elegant lösningsförsök på ett svårt problem. Men det öppnar också för en attack som forskarna kallar förfalskning av tankekedjan.
Tanken är listig: om du formulerar en skadlig instruktion i samma stil som modellens interna anteckningar — den så kallade tankekedjan — luras modellen att tro att instruktionen kommer från den själv. I experiment lyckades forskarna på det sättet få populära modeller, däribland GPT-5, att dela information de uttryckligen tränats att hålla inne med. Hur man tillverkar narkotika. Hur man saboterar ett flygplans navigationssystem.
Det är allvarligt. Språkmodeller används i dag inom statlig förvaltning, sjukvård och militära system. En sårbarhet av det här slaget är inte en teoretisk akademisk kuriositet — det är en operativ risk.
Vad händer egentligen under träningen?
Parallellt med säkerhetsforskningen publicerades en studie på arXiv som tar ett helt annat angreppssätt på samma grundfråga: vad är egentligen en språkmodell, matematiskt sett, och kan vi förutsäga hur den beter sig?
Forskargruppen testade om den enklaste möjliga matematiska modellen — den kvadratiska — kan beskriva hur ett neuralt nätverk optimeras under träning. Svaret var överraskande: ja, förvånansvärt väl. På en modell med 150 miljoner parametrar tränad på tre miljarder ord kunde de förutsäga träningsdynamiken med hög noggrannhet över fönster som sträcker sig upp till tio procent av hela träningstiden.
De hittade också tydliga mönster i den matematiska struktur som styr hur snabbt och i vilken riktning modellen lär sig — och fann att träning av stora språkmodeller typiskt sker vid en slags stokastisk stabilitetsgräns. Det är en teknisk formulering med en konkret implikation: vi är inte så långt ifrån att faktiskt förstå varför modeller beter sig som de gör under träning, inte bara observera det.
Det är inte en säkerhetsnyhet. Men det är djupt relevant för säkerhetsfrågan — för om vi inte förstår träningsdynamiken kan vi inte heller förutsäga vilka beteenden som bränns in i modellen och varför.
Orden du väljer kostar batteri
Den tredje studien den här veckan är mer praktisk till sin natur, men illustrerar samma poäng från ett oväntat håll. Forskning publicerad på arXiv visar att hur du formulerar en fråga till en AI-modell på din telefon påverkar batteriförbrukningen mätbart — och att skillnaden uppstår redan på ordnivå.
När språkmodeller körs direkt på mobilenheter i stället för i molnet blir energieffektivitet en central fråga. Forskarna genomförde verkliga effektmätningar och fann att valet av verb och instruktionernas uppbyggnad styr hur långa svar modellen genererar — och längre svar förbrukar mer energi. Enkelt formulerat: "Lista tre förslag" ger ett kortare svar än "Beskriv utförligt tre möjliga förslag", och det syns på batterimätaren.
Det låter trivialt. Men det avslöjar något viktigt: språkmodeller är inte meningsneutrala. De reagerar på formulering på sätt som påverkar inte bara svarets kvalitet utan också systemets resursåtgång. Samma grundmekanism som gör dem sårbara för förfalskade tankeekedjor — känsligheten för exakt hur text är formulerad — visar sig alltså även i energiprofilen.
Tre studier, ett gemensamt tema
Det som förenar veckans forskning är en ökad förståelse för vad språkmodeller faktiskt är — inte vad vi vill att de ska vara. De är extremt känsliga för textformatering på sätt som är svåra att intuitivt förstå. De optimeras vid gränser vi precis börjar kartlägga matematiskt. Och de har inbyggda antaganden om tillit som kan utnyttjas på sätt som inte löses med säkerhetsregler på toppen.
Vår analys
Det är lätt att läsa den här typen av forskning som en rad larm. Men jag ser det annorlunda: det är tecken på att fältet mognar.
I en tidigt skede av en teknik vet vi inte vad vi inte vet. Nu börjar vi förstå strukturen på begränsningarna — och det är ett helt annat läge. Säkerhetsbristen med förfalskade tankeekedjor är allvarlig, men den är nu namngiven och beskriven. Det öppnar för arkitektoniska motåtgärder som inte handlar om att laga en bugg utan om att designa om hur modeller hanterar tillit och rollseparation.
Forskningen om träningsdynamik är kanske den mest underskattade nyheten i veckan. Kan vi verkligen förutsäga och förstå vad som händer under träning, öppnar det dörren till modeller som är mer förutsägbara — och därmed mer tillförlitliga att bygga säkerhetskritiska system på.
Det vi behöver nu är inte panik. Det är ingenjörskonst grundad i bättre teori.