AI-agenter tappar säkerhetsinstruktioner mitt i uppdraget — forskarnas skyddssystem blockerade felen i tester

När AI-agenten glömmer vem den är

Tänk dig att du anlitar en erfaren konsult, ger dem tydliga spelregler i början av uppdraget — och sedan upptäcker att de mitt i arbetet börjar bortse från dessa regler, inte av illvilja, utan för att de helt enkelt glömt bort dem. Det är exakt det scenario som en grupp forskare nu har dokumenterat hos så kallade långhorisontagenter — AI-system som hanterar komplexa uppgifter över långa konversationskedjor.

Fenomenet har fått förkortningen GHOST och innebär att agenten kan utföra handlingar som bryter mot säkerhetsbegränsningar som angavs tidigt i sessionen. Enligt forskarnas experiment uppstod detta fel i 11,5 procent av fallen med GPT-4.5. Det är inte en bugg som dyker upp en gång på tusen — det är ett systematiskt mönster. Och i värsta fall är konsekvenserna oåterkalleliga.

Forskargruppen har också utvecklat ett skyddssystem, STAR-Guard, som arbetar i två lager: det återställer relevanta säkerhetsvillkor från konversationshistoriken och granskar planerade handlingar innan de utförs. I kontrollerade tester uppstod inga GHOST-händelser när systemet var aktiverat. Det är lovande — men det understryker samtidigt att vi ännu inte kan lita blint på att en AI-agent håller fast vid sina instruktioner utan aktiv övervakning.

Minnet är nyckeln — och nu blir det dramatiskt bättre

Problemet med att AI-agenter tappar bort kontext är inte isolerat till säkerhetsinstruktioner. Det är ett strukturellt minnesproblem. Ju längre en konversation pågår, desto mer information måste hanteras — och kostnaderna stiger snabbt medan prestandan riskerar att sjunka.

Här presenterar forskarvärlden en elegant lösning: GraphMemory, ett grafbaserat minnessystem som organiserar och återanvänder strategier på ett strukturerat sätt. Istället för att exponera modellen för hela minnesdatabasen vid varje fråga hämtas enbart den relevanta delgrafen. Resultatet är slående — systemet använder 81–85 procent färre beräkningsenheter vid minnesuppbyggnad, utan att tumma på kvaliteten. Det gör långsiktigt agentminne inte bara möjligt, utan ekonomiskt försvarbart i verkliga företagsmiljöer.

Samtidigt bekräftar ett nytt riktmärke kallat Ego2World — som omvandlar matlagningsvideor till interaktiva testmiljöer för AI-planering — att ihållande minneshantering förbättrar handlingarnas giltighet med över fyra procentenheter och minskar onödiga sökförsök med 90 procent. Minnessystem är alltså inte bara en kostnadsfråga. Det är en fråga om hur väl en agent faktiskt lyckas slutföra sina uppdrag.

Träning, återkoppling och ett ekosystem som växer upp

Säkerhets- och minnesproblem kan inte lösas enbart med bättre arkitektur — de kräver också smartare träningsmetoder. Forskare presenterar nu SR-OPD, en metod för att träna mindre AI-modeller med hjälp av större lärarmodeller, men till en bråkdel av kostnaden. Metoden använder bara 3,5–5 procent av den beräkningskraft som traditionell handledning kräver, och prestandan på avancerade resonemangsprov förblir i stort sett oförändrad. Det handlar om att låta modellens egna framgångar visa var handledarresurserna gör störst nytta — ett elegant och resurssmart angreppssätt.

På ett annat hörn av ekosystemet lyfter en studie genomförd i samarbete med eBay fram något som alltför ofta förbises: hur AI-system samlar in återkoppling från användare efter driftsättning. Forskargruppen fann att återkopplingsfunktioner ofta är svåra att hitta, att terminologin är oklar och att användarens perspektiv ignoreras. Väl utformad återkoppling förbättrar inte bara systemen — den stärker förtroendet och engagemanget hos dem som faktiskt använder tekniken. I en tid när regleringar och branschriktlinjer kräver bättre mekanismer för användarmedverkan är detta ingen liten detalj.

Vad betyder allt detta i praktiken?

För den som bygger eller köper AI-agenter för verksamhetskritiska uppgifter är budskapet tydligt: långhorisontagenter kräver aktiv säkerhetsövervakning, inte bara bra initiala instruktioner. GHOST-problematiken är inte ett teoretiskt spöke — det är ett dokumenterat mönster som kräver systemnivålösningar som STAR-Guard.

Men bredden på veckans forskning är också ett tecken på att branschen rör sig i rätt riktning — snabbt. Minnessystem blir effektivare. Träningsmetoder blir billigare. Testverktyg blir mer sofistikerade. Och nu börjar vi också ta på allvar hur vi samlar in och använder återkoppling från faktiska användare.

Det är en teknik som växer upp — med alla de utmaningar och möjligheter det innebär.