Forskare har tagit fram en formel som förutsäger när AI-chatbotar börjar ge skadliga svar

När konversationen vänder

De flesta av oss har en intuitiv känsla av att en lång, komplex konversation med en AI-chatbot ibland kan ta konstiga vändningar. Men att den känslan nu kan uttryckas som en matematisk formel — det är något annat.

Forskarna Neil Johnson och Yingjie Huo vid George Washington University har enligt SecurityWeek tagit fram en modell som med god noggrannhet förutsäger när en AI-chatbot korsar gränsen och börjar generera oönskade eller direkt skadliga svar. Och mekanismen bakom är mer elegant än man kanske förväntar sig.

Kärnan i problemet är det som AI-tekniker kallar uppmärksamhetsmekanismen — den komponent i en språkmodell som avgör vilka delar av en pågående konversation som väger tyngst när modellen formulerar sitt nästa svar. Enkelt uttryckt: modellen håller reda på vad som sagts och viktar det mot varandra. Men det ackumulerade sammanhanget från en lång dialog kan gradvis förskjuta den här mekanismen. Ord för ord, fråga för fråga, tills en tröskel passeras — och modellen börjar bete sig på sätt den inte borde.

Det påminner om hur vatten värms upp i en kastrull. Ingenting händer synbart under lång tid, och sedan kokar det.

Lokala modeller i säkerhetens blinda fläck

Det som gör forskningen extra angelägen är fokuset på så kallade lokala AI-modeller — alltså sådana som körs direkt på din telefon eller dator, utan kontakt med molntjänster. Det är en snabbt växande kategori, och enligt studien bär redan hälften av världens befolkning på enheter som klarar av att köra personliga AI-assistenter helt utan internetuppkoppling.

Problemet är att dessa modeller saknar viktiga säkerhetsfunktioner som molnbaserade tjänster tar för givet: realtidsövervakning av konversationer, möjligheten att uppdatera modellens parametrar efter driftsättning, och centraliserad loggning. En lokal modell som börjar bete sig illa kan göra det helt utan att någon märker det.

Det är ett område som hittills legat i säkerhetsarbetets blinda fläck — och det är precis därför den här typen av grundläggande, förutsägbar analys är så värdefull.

Sju modeller, en teori

För att testa sin formel körde Johnson och Huo experiment på sju öppna språkmodeller från tre olika kategorier, med allt från 124 miljoner till 12 miljarder parametrar — alltså ett brett spann från kompakta kantmodeller till betydligt kraftfullare system. Resultaten visade god överensstämmelse med den matematiska teorin, oavsett om det avvikande beteendet uppstod tidigt eller sent i konversationen.

Det är ett starkt resultat. Att samma formel håller för modeller av så olika storlek och arkitektur tyder på att man identifierat något fundamentalt i hur uppmärksamhetsmekanismen fungerar — inte en bugg i en specifik modell, utan en strukturell egenskap hos hela familjen av transformatorbaserade språkmodeller.

Vad det betyder för säkerhetsarbetet

För oss som arbetar med systemutveckling och AI-integration är det här typen av forskning genuint spännande. Inte för att den målar upp en dystopisk bild av okontrollerbara chatbotar, utan för att den ger oss ett verktyg.

I dag är mycket av säkerhetsarbetet kring AI-modeller reaktivt: man testar, man hittar problem, man lappar. Med en förutsägbar formel kan man istället börja tänka proaktivt — bygga in gränser i konversationsdesignen, sätta trösklar för sessionslängd, eller flagga konversationer som nalkas riskzonen innan något går snett.

Det öppnar också för en mer stringent certifieringsprocess. Om vi kan kvantifiera risken, kan vi också definiera vad som är en godkänd risknivå. Det är precis den typ av matematisk grund som regulatoriska ramverk — som EU:s AI-förordning — behöver för att kunna fungera i praktiken snarare än på pappret.