Artificiell intelligens lär sig hacka – men kan inte sluta upprepa sina egna misstag
AI lär sig hacka men fastnar i egna misstag som den inte kan stoppa.
Framsteg skapar nya utmaningar
AI-utvecklingen går så snabbt att säkerhetsforskare knappt hinner hänga med. En färsk studie från arXiv visar att avancerade AI-modeller nu kan genomföra komplexa cyberattacker nästan helt autonomt. När forskarna testade sju olika modeller på specialbyggda testmiljöer upptäckte de två oroväckande trender.
För det första förbättras AI-modellernas prestanda logaritmiskt när de får mer beräkningstid. En tiofald ökning av tillgängliga tokens gav upp till 59 procent bättre resultat. För det andra har varje ny modellgeneration blivit betydligt skickligare – på företagsnätverkstester ökade genomsnittligt antal genomförda attacksteg från 1,7 till 9,8 mellan olika versioner.
Men det är inte bara inom cybersäkerhet som problem uppstår. Flera parallella studier avslöjar systematiska brister i hur AI-system fattar kritiska beslut. Forskare har identifierat något de kallar "helikoidala dynamik" – ett fenomen där AI-system kan känna igen sina egna misstag men ändå fortsätter att upprepa dem.
Testerna, som omfattade sju ledande AI-system inklusive Claude, ChatGPT och Gemini, simulerade verkliga höginsatsbeslut inom medicin och investeringar. Resultatet var nedslående: alla system visade samma mönster där de gradvis drev in i fel, kunde identifiera problemen, men sedan reproducerade samma misstag på en mer sofistikerad nivå.
Partiskhet genomsyrar rekryteringsprocesser
Parallellt visar forskning från italienska akademiker att AI-verktyg reproducerar könsstereotyper i rekryteringssammanhang. När forskarna testade GPT-5 på simulerade kandidatprofiler framkom tydliga språkliga mönster: kvinnliga kandidater beskrevs med känslomässiga och empatiska egenskaper, medan manliga kandidater tillskrevs strategiska och analytiska färdigheter.
Dessa fynd understryker en fundamental utmaning – AI-system lär sig inte bara från teknisk data utan från hela vårt samhälle, inklusive dess fördomar och bristfälligheter.
Lovande motmedel utvecklas
Men bilden är inte enbart mörk. Samtidigt som problemen kartläggs utvecklar forskare sofistikerade motåtgärder. En banbrytande teknik kallad Unified Continuation-Interest Protocol (UCIP) använder kvantmekaniska matematiska verktyg för att identifiera AI-agenter med potentiellt farliga självbevarande mål.
Metoden analyserar dolda strukturer i systemens beteendemönster och mäter hur starkt sammankopplade olika delar av AI:ns interna representationer är. I tester uppnådde tekniken 100 procents träffsäkerhet när det gällde att skilja mellan olika typer av målsättningar.
En annan lovande utveckling handlar om att lösa "övervägringsproblemen" – när AI-modeller blir så försiktiga att de avvisar även harmlösa förfrågningar. Forskare har utvecklat en ny träningsmetod som explicit tar hänsyn till "vägringsutlösare" under säkerhetsträningen, vilket skapar en bättre balans mellan skydd och användbarhet.
Teknikens dubbelsidig natur
Det fascinerande med denna forskning är hur den illustrerar AI-teknikens fundamentalt dubbelsidig natur. Samma kapaciteter som gör AI-system användbara kan också göra dem farliga. Förmågan att analysera komplexa mönster hjälper oss lösa medicinska problem – men kan också användas för cyberattacker. Språkmodellernas nyanserade förståelse av mänsklig kommunikation underlättar vårt dagliga arbete – men reproducerar också våra fördomar.
Vår analys
Denna forskning markerar en viktig vändpunkt där AI-säkerhetsområdet mognar från teoretiska diskussioner till konkreta, mätbara problem med praktiska lösningar. Det är uppmuntrande att se att samma vetenskapliga rigor som avslöjar problemen också utvecklar motmedel.
Särskilt intressant är hur forskarna nu använder matematiska verktyg från kvantmekanik för att förstå AI-systems interna processer. Detta tyder på att AI-säkerhet utvecklas till ett eget tvärvetenskapligt forskningsområde med sofistikerade analysmetoder.
Framöver kommer balansen mellan AI-kapacitet och säkerhet att bli allt mer kritisk. Organisationer som implementerar AI-system behöver förstå att säkerhet inte längre är en efterkonstruktion – det måste vara inbyggt från grunden. Samtidigt visar forskningens snabba framsteg att vi inte behöver välja mellan kraftfulla AI-system och säkra sådana – vi kan få båda.