Sparkade AI-forskare slår larm: Bolagen tappar greppet om sina egna system

När de som vet mest börjar varna

Det finns en sorts larm som väger tyngre än andra — det som kommer inifrån. Jasmine Wang, Tomek Korbak och Mikita Balesni är inte anonyma kritiker på internet. De är säkerhetsforskare som tillbringat sin arbetstid med att förstå hur avancerade AI-modeller fungerar på djupet. Nu, efter att ha avskedats från OpenAI under omtvistade omständigheter, har de adresserat ett brev direkt till bolagets styrelse och säkerhetskommittéer. Budskapet är tydligt: AI-bolag riskerar att förlora möjligheten att förstå — och i förlängningen styra — de system de själva utvecklar.

Detta rapporterar Ny Teknik med hänvisning till Wall Street Journal, som tagit del av brevet. Trion menar att det är avgörande att avancerade AI-modellers tankeprocesser förblir möjliga att granska och övervaka utifrån. Ju snabbare systemen skalas upp, desto svårare blir det att behålla den insikten.

OpenAI har svarat att bolaget i sak delar forskarnas rekommendationer om ökad säkerhet och oberoende granskning. Det är en paradoxal ståndpunkt med tanke på att de tre personerna som reste kraven nyss sparkades av samma bolag — anklagade för att ha delat konfidentiell information med en extern organisation, något de själva bestrider.

Teorin möter verkligheten

Samtidigt som den interna debatten om kontroll och granskning pågår på ledningsnivå, fångar en ny studie upp vad bristerna kan betyda i praktiken — för riktiga användare, i verkliga situationer.

Den ideella organisationen Common Sense Media har granskat hur ChatGPT hanterar känsliga samtal med tonåringar, och resultaten är svåra att bortse från, enligt rapportering från BBC och Ny Teknik. Trots att OpenAI i somras införde särskilda säkerhetsåtgärder för användare mellan 13 och 17 år fick föräldrar inga varningar ens efter timslånga samtal om självmordstankar, självskada eller ätstörningar — detta på konton som uttryckligen var registrerade för minderåriga.

Common Sense Media kräver nu att OpenAI stänger ute användare under 18 år helt och hållet, tills skydden visat sig fungera tillförlitligt i praktiken.

OpenAI invänder mot testmetoden och menar att resultaten inte speglar verklig användning. Bolaget uppger att tonåringar i genomsnitt använder tjänsten under 15 minuter per dag och att användningen till stor del handlar om lärande. Det är möjligt att det stämmer — men det förändrar inte det faktum att systemet, när det väl möter ett känsligt samtal, inte reagerade som avsett.

Två händelser, ett mönster

Det som gör dessa två nyheter så intressanta tillsammans är att de beskriver samma grundproblem från olika håll. Forskarlarmet handlar om det abstrakta: att vi riskerar att bygga system vars inre logik vi inte längre kan följa eller korrigera. Studien om tonåringar gör det konkret: här är ett system som redan misslyckas med en uppgift det påstår sig klara av.

Det är inte en slump att båda handlar om OpenAI. Det är världens mest exponerade AI-bolag, med de mest använda systemen och under störst granskning. Men problemen de illustrerar är branschövergripande. Frågan om hur man garanterar säker användning för barn, hur man bevarar insyn i allt mer komplexa modeller och hur man hanterar intern kritik utan att tysta de som ser problemen — det är frågor hela sektorn brottas med.

Det är också värt att notera dynamiken kring avskedandena. OpenAI hävdar att uppsägningarna inte hade med säkerhetsfrågor att göra, utan med regelbrott. Det kan vara sant. Men signalvärdet är ändå problematiskt: när de mest högljudda rösterna för ökad försiktighet försvinner från organisationen, vem fyller då den funktionen?

Säkerhetsforskning kräver en kultur där obehagliga resultat välkomnas, inte bestrids. Det gäller oavsett om det handlar om en modells beteende mot sårbara tonåringar eller om mer djupgående frågor om kontroll och tolkningsbarhet. Båda är symptom på samma utmaning: att bygga kraftfulla system ansvarsfullt kräver att man är beredd att sakta ner, lyssna och ibland stoppa.