Nya studier: AI läcker hemligheter även när den säger nej – och klarar inte juridikens krav
AI läcker dina hemligheter även när den vägrar svara – ju smartare, desto värre.
När 'nej' inte räcker
Låt oss börja med det mest obekväma fyndet. En studie publicerad på arXiv denna vecka visar att stora språkmodeller kan läcka känslig information från sitt kontextfönster — även när de korrekt vägrar att svara direkt. Modellen säger 'nej tack', men subtila mönster i de vanliga svaren räcker för att en angripare ska kunna rekonstruera exempelvis personnummer eller hälsodata med hög precision.
I kontrollerade experiment återkapades tvåsiffriga hemligheter med nästan perfekt träffsäkerhet, och fyrsiffriga med 82 procents precision. Det som gör fyndet extra besvärligt är att mer kapabla modeller läckte mer information — inte mindre. Det är alltså inte ett enkelt programmeringsfel som fixas i nästa version. Det är snarare en bieffekt av ökad förmåga, vilket innebär att vi inte kan förvänta oss att problemet försvinner av sig självt när modellerna blir starkare.
Detta borde bekymra alla som idag kör känsliga arbetsflöden mot kommersiella modell-API:er.
Juridiken håller inte måttet
En annan studie introducerar ContractScrub, det första riktmärket som är utformat specifikt för att mäta hur väl språkmodeller klarar juridisk avtalssanering — den noggranna slutgranskning av avtal som handlar om att hitta felaktiga definitioner, felaktiga hänvisningar och inkonsekvent språkbruk. Resultaten är tydliga: bara en modell nådde upp till 0,75 i genomsnittlig träffsäkerhet, trots att samma modeller presterar väl på generella juridiska tester.
Det här är ett välkänt fenomen inom maskininlärning — ett system kan toppa generella riktmärken och ändå misslyckas kapitalt när det möter verkliga, domänspecifika uppgifter. Juridisk avtalsgranskning kräver en kombination av konsekvensspårning, kontextuell förståelse och minutiös detaljkänslighet som tydligen ännu inte finns på plats.
Som systemutvecklare ser jag detta som ett starkt argument för att alltid utvärdera AI-verktyg mot de faktiska uppgifter de ska lösa — inte mot generella prestandamått.
Flygledning: ett tankeexperiment med tydliga begränsningar
Den tredje studien i veckan testar något som låter nästan provocerande: kan stora språkmodeller generera realistiska flygledningsmeddelanden? Nio modeller testades mot inspelningar från en verklig flygtur över San Francisco.
Resultaten är inte katastrofala, men de är talande. Enkla promptstrukturer fungerade bäst. Alltför detaljstyrda instruktioner försämrade prestandan — och när modellen väl begick ett eget fel i dialogen, kollapsade kvaliteten på efterföljande svar. Det är precis det beteende man inte kan tolerera i säkerhetskritiska miljöer, där ett enda misstag kan få allvarliga konsekvenser.
Forskarna är tydliga: det finns en möjlig väg framåt, men betydande begränsningar kvarstår.
Samma mönster, olika domäner
Läser man de tre studierna tillsammans framträder ett gemensamt mönster: det är precis i de situationer där det krävs precision, konsekvens och tillförlitlighet som språkmodellerna sviktar. Inte när frågorna är vaga eller kontexten generell — utan när felmarginalerna är låga och insatserna höga.
Detta kompletteras av två andra fynd från veckan. En studie om AI-agenter i finansmiljöer — via ramverket ReguSim — visar att synliga regler minskade men inte eliminerade regelöverträdelser, och att hur uppgiften formulerades påverkade agentens beteende markant. En annan studie introducerar StateMemBench och visar att AI-agenter regelbundet återger föråldrad information i stället för det aktuella läget, vilket är ett allvarligt problem i långvariga arbetsflöden.
På den mer hoppfulla sidan finns forskning om hur finjustering, modellstorlek och tät arkitektur minskar en modells känslighet för hur frågor formuleras — vilket är ett konkret steg mot mer tillförlitliga system. Och FedLNS, ett nytt ramverk för federerad inlärning, visar att det går att skydda distribuerade modeller mot sabotage utan att kompromissa med dataintegritet.
Men dessa är lösningar på problem vi redan kände till. De tre inledande studierna identifierar luckor som branschen ännu inte har ett svar på.
Vår analys
Veckans forskning är ett nyttigt korrektiv till den ibland euforiska diskussionen om vad stora språkmodeller redan kan göra. Det är inte så att modellerna är dåliga — det är att vi ännu inte förstår exakt var de är tillförlitliga och var de inte är det.
Det som oroar mig mest som utvecklare är informationsläckaget. Det är inte ett beteende som syns i vanliga utvärderingar, och det eskalerar med modellförmågan. Det kräver att organisationer som hanterar känsliga uppgifter via AI aktivt designar bort exponeringen — inte bara litar på att modellen vägrar svara.
Den konstruktiva lärdomen är att domänspecifika riktmärken — som ContractScrub och StateMemBench — är avgörande. Generell prestandamätning räcker inte. Framtidens tillförlitliga AI byggs inifrån verkliga användningsfall, med specifika krav och ärlig utvärdering. Det är svårare, men det är rätt väg framåt.