AI-system lär sig etiketter — inte innebörd: ett namnbyte fick träffsäkerheten att rasa

När rätt svar inte räcker

Det finns en speciell sorts bugg som är svårare att fånga än de flesta: en som inte syns förrän senare. Ny forskning publicerad på arXiv beskriver just en sådan svaghet i hur AI-system hanterar minne — och den är obehagligt svår att testa sig ur.

Problemet är inte att systemet svarar fel. Det svarar rätt, just nu. Men det kan ha slängt bort information som hade behövts om en ny uppgift hade dykt upp en stund senare. Tekniken fungerar, men den är otillräcklig på ett sätt som inte märks förrän det är för sent.

Studien är metodiskt noggrann: 24 historikpar testades mot sex olika minneshanterings­mekanismer och två AI-modeller. Resultaten spretar rejält. En deterministisk metod nådde 96 av 96 korrekta svar med DeepSeek — ett utmärkt resultat. En mer strukturerad skrivmetod klarade bara 62 av 96. Ingen enskild approach dominerar, och det är i sig en viktig slutsats.

Men den riktigt avslöjande observationen handlar om namngivning. När forskarna bytte namn på identifierare i systemet — alltså döpte om saker utan att ändra logiken — rasade träffsäkerheten från 8 av 8 till enbart 94 av 320 fall. Det är en dramatisk kollaps, och den berättar något viktigt: systemen lär sig inte vad information betyder, de lär sig vad den heter. Det är en genväg som fungerar tills verkligheten byter skylt.

Detta är en påminnelse om att robusthet i AI-system inte enbart handlar om att mäta nuläget. Vi behöver utvärdera vad som händer när förutsättningarna förändras — vilket de alltid gör i verkliga driftsättningar.

Energin gömmer sig på fel ställe

Parallellt med minnesproblematiken pågår en annan viktig diskussion: var ska AI egentligen köras? I takt med att 5G- och 6G-nät byggs ut och AI-agenter integreras i allt fler delar av nätverkskedjan — från lokala noder till centraliserade molnlösningar — blir placeringsfrågan allt mer brännande.

Forskare har nu tagit fram agentic-eCAL, ett ramverk för att mäta energi- och minneskostnader i så kallade fleragerentsystem, där flera AI-modeller samarbetar för att lösa komplexa uppgifter. Studien, baserad på hundratals mätningar mot NVIDIA A100- och H100-grafikkort samt 16 olika öppna språkmodeller, ger nätverksoperatörer ett konkret verktyg för att fatta välgrundade beslut.

Resultaten är överraskande på ett sätt som borde intressera alla som bygger distribuerade AI-system. Textöverföringen mellan agenter över 5G-nät utgör bara ungefär 0,25 procent av den totala energiförbrukningen. Noll-komma-tjugofem procent. Den verkliga energikostnaden uppstår i den beräkning och kontexthantering som kommunikationen utlöser — alltså i vad som händer när meddelandet tas emot, inte i själva överföringen.

Det vänder intuition på ända. Många som planerar distribuerade AI-arkitekturer lägger stor vikt vid att minimera datautbytet mellan noder, i tron att kommunikation är den stora boven. Men om beräkningsbelastningen är det som faktiskt kostar, bör man istället fråga sig: var sitter beräkningskraften billigast och grönast?

Det är precis det som agentic-eCAL är tänkt att hjälpa till med — inte att ge ett universalsvar, utan att ge operatörer underlag för att göra rätt avvägning i sin specifika miljö.

Två brister, ett mönster

De två studierna verkar handla om helt olika saker: minne å ena sidan, energi och nätverksplacering å den andra. Men det finns ett gemensamt tema.

Båda pekar på att det som mäts och det som spelar roll inte alltid är samma sak. I minnesfallet mäter vi om systemet svarar rätt just nu — men vi missar om det har sparat rätt saker för framtiden. I energifallet mäter vi bandbredd och dataöverföring — men missar att det egentliga energisluket sitter i beräkningsledet.

Det är ett slags mätblindhet som är lätt att fastna i, särskilt när systemen är komplexa och rör sig snabbt. Dessa studier bidrar med något värdefullt: de hjälper oss att titta på rätt saker.