AI-bolagens skyddsmurar blockerar säkerhetsforskarna
Säkerhetsforskare nekas tillgång till de AI-system de ska skydda.
Skyddet som blockerar försvararna
Det finns något djupt paradoxalt i dagens AI-säkerhetslandskap. Teknikbolagen bygger allt tjockare murar för att hindra illvilliga aktörer — och lyckas i processen också stänga ute de som försöker hitta hålen i murarna innan angriparna gör det.
Enligt TechCrunch har Anthropic och OpenAI under det senaste halvåret infört strikta begränsningar som nu aktivt försvårar arbetet för offensiva cybersäkerhetsforskare — de yrkespersoner vars uppdrag är att angripa system i kontrollerad form för att avslöja svagheter. Situationen har blivit tillräckligt akut för att den amerikanska regeringen ska ha infört exportkontroller på Anthropics modeller Mythos och Fable, delvis till följd av rapporter om kringgångna skyddsmekanismer. Sedan dess har regelverket justerats: Fable 5 är åter allmänt tillgänglig, medan Mythos 5 enbart är åtkomlig för granskade amerikanska organisationer.
Både Anthropic och OpenAI erbjuder ansökningsbaserad tillgång med färre begränsningar för verifierade säkerhetsforskare — via programmen Cyber Verification Program respektive Trusted Access for Cyber. Men kritiken är skarp. Den erfarne säkerhetsforskaren Mark Dowd pekar på ett grundläggande maktproblem: att låta kommersiella teknikbolag ensidigt definiera vad som anses säkert inom en hel bransch är inte en hållbar ordning. Chris Anley på NCC Group lyfter fram det praktiska dilemmat — att ens kunna testa om en modell går att manipulera kräver att man faktiskt försöker manipulera den.
En industri söker sin säkerhetschef
Mitt i denna turbulens väljer Meta att signalera mognad och ansvar genom att utse Assaf Keren till ny informationssäkerhetschef. Keren, med bakgrund från PayPal och Qualtrics, tar över efter Guy Rosen och kliver in i vad han själv beskriver som uppdraget att "bygga förtroendeinfrastrukturen för AI i en skala som berör miljarder människor". Det är ett uttalande som säger mer om utmaningens storlek än om lösningarna — men signalen är tydlig: de stora plattformarna börjar behandla AI-säkerhet som en strategisk kärnfråga, inte som en teknisk sidofunktion.
Forskningen levererar — men skalning återstår
På forskningsfronten händer det mycket, och det är här optimismen faktiskt har grund under fötterna. Flera lovande ramverk presenteras nu som kan förändra hur vi styr och granskar AI-modeller på ett mer sofistikerat sätt.
Ramverket Probabilistic Concept-Aware Steering (PCS), som presenterats på arXiv, erbjuder ett sätt att styra stora språkmodellers beteende under körningstid med mer precision och förutsägbarhet än tidigare metoder. Arkitekturen Phionyx tar ett radikalt annorlunda grepp och behandlar modellsvar som opålitliga mätdata som måste filtreras genom ett strukturerat kontrollsystem — och visar upp imponerande resultat med 31 procent lägre beräkningskostnader jämfört med traditionell efterhandsfiltrering.
Metoden Safety as Polytope (SaP) använder geometrisk analys av modellernas inre representationsrum för att skilja på säkert och skadligt innehåll — och uppnår 96–99 procents träffsäkerhet i tester. Och för det växande problemet med finjusterade modeller som tappar sina inbyggda säkerhetsinställningar presenterar forskare TRACE, ett ramverk som återställer säkerheten utan att förstöra den uppgiftsspecifika anpassning som gjorts.
Slutligen adresserar GA-AMLS ett undanskymt men kritiskt problem: hur mäter man risken för sällsynta men allvarliga fel — de misstag som är för ovanliga för att fångas i vanlig testning men som kan få katastrofala konsekvenser i verkliga driftsättningar? En ny förlustfunktion introduceras som tar hänsyn till att underskattning av risker är farligare än överskattning.
Friktion som signal
Den friktion som uppstår när säkerhetsforskare blockeras av de system de ska granska är inte bara ett administrativt irritationsmoment — det är en strukturell varningssignal. Vi håller på att bygga upp ett ekosystem där de tekniska verktygen för säkerhet och styrning faktiskt börjar hålla måttet, men där de institutionella ramverken kring tillgång, granskning och ansvar halkar efter. Forskningen pekar framåt. Friktionen påminner oss om att teknik utan genomtänkta spelregler skapar sina egna problem.
Vår analys
Det som gör det här momentet särskilt intressant är att vi befinner oss i ett slags kapplöpning — men inte den vanliga mellan angripare och försvarare. Den verkliga kapplöpningen pågår mellan teknisk mognad och institutionell mognad.
Forskarvärlden levererar nu konkreta verktyg: geometrisk säkerhetsklassificering, arkitekturer för styrbar AI, metoder för att mäta sällsynta katastroffel. Det är imponerande framsteg. Men spelreglerna för vem som får använda AI-modeller till vad, och vem som granskar den som granskar — de frågorna hanteras fortfarande ad hoc av bolag med kommersiella intressen.
Metas rekrytering av Keren och de ansökningsbaserade forskarprogram som Anthropic och OpenAI erbjuder är steg i rätt riktning. Men de är frivilliga initiativ, inte strukturerade skyldigheter. Nästa avgörande fråga är inte teknisk — det är vem som har mandat att sätta standarderna. Det svaret kan inte bara komma från Silicon Valley.