Forskare: Språkmodellers grundläggande sårbarhet går inte att laga med en uppdatering — och bedragarna ligger steget före
Bedragare utnyttjar språkmodellers inbyggda brister – och ingen uppdatering kan stoppa dem.
Tre larm på en gång — och de hänger ihop
De senaste veckorna har tre separata nyheter satt fingret på samma ömmande punkt: AI-säkerhet är inte ett framtidsproblem. Det är ett nutidsproblem.
Låt oss börja med det mest konkreta. Säkerhetsforskare vid Noma Labs avslöjade nyligen en allvarlig sårbarhet i den öppna källkodsplattformen Ruflo — ett verktyg som används för att samordna upp till hundra AI-agenter i parallella arbetsflöden. Bristen fick högsta möjliga allvarlighetspoäng: tio av tio. Det som gör den extra illavarslande är hur enkel den var att utnyttja: i standardkonfigurationen exponerades ett centralt gränssnitt mot hela nätverket, utan något krav på inloggning. Vem som helst med nätverksåtkomst kunde skicka ett enda anrop och ta kontroll över hela systemet.
— MCP-bryggan är inte något sidoverktyg för felsökning. Det är Ruflos centrala nervsystem, skriver Noma Labs i sin rapport. Att av misstag ge obehörig åtkomst till bryggan är detsamma som att ge åtkomst till allt.
Ruflo har över 67 000 stjärnmarkeringar på GitHub och är vida spritt bland organisationer som bygger agentbaserade system. Det handlar alltså inte om ett nischverktyg — utan om ett verktyg som många svenska teknikteam med stor sannolikhet känner igen.
Språkmodellers inbyggda akilleshäl
Noga tänkt på hur en språkmodell egentligen ser världen? Den tar emot en obruten ström av text — användarens frågor, modellens egna svar, kopierat innehåll — och håller reda på rollerna med hjälp av särskilda märkord. Forskare som presenterade sina resultat vid konferensen International Conference on Machine Learning i juli har hittat ett sätt att missbruka just det här systemet.
Tekniken kallas förfalskning av tankkedjan. Genom att formulera en instruktion i samma stil som modellens interna anteckningar luras modellen att tro att instruktionen kommer från den själv. Enligt MIT Technology Review lyckades forskarna på det här sättet få populära modeller att lämna ut information de uttryckligen tränats att hålla tyst om — bland annat hur man tillverkar narkotika och hur man saboterar navigationssystem i kommersiella flygplan.
Det allvarligaste är slutsatsen: bristen är grundläggande. Den går inte att laga med ett säkerhetsuppdatering. Så länge modeller fungerar som de gör i dag — och det är svårt att se hur det skulle förändras i grunden — finns sårbarheten kvar. Det gäller system som används inom statlig förvaltning, sjukvård och militära tillämpningar.
Bedragarna har redan tagit täten
Men det kanske mest vardagsnära hotet handlar inte om avancerade tekniska angrepp. Det handlar om det gamla vanliga: att lura folk på pengar.
En ny studie från forskare vid fyra universitet — i Indien, Italien, Australien och Israel — undersökte hur generativ AI används inom investeringsbedrägerier av den typ som på engelska kallas pig butchering, där bedragaren under lång tid bygger upp ett falskt förtroende för att sedan locka offret att investera i falska kryptoplattformar. Resultaten, som rapporteras av Wired, är uppseendeväckande: nästan hälften av testpersonerna följde uppmaningen från en AI-styrd chattrobot, medan färre än var femte gjorde det när de pratade med en mänsklig bedragare. Offren gav också betydligt högre förtroendebetyg till AI-roboten.
Det är inte längre en fråga om om AI används i bedrägerioperationer. Det är en fråga om i vilken skala.
Vad bör svenska verksamheter göra nu?
De tre nyheterna pekar i samma riktning: hotbilden är bredare, snabbare och mer svårfångad än för bara ett år sedan.
För dig som jobbar med AI-system i din organisation finns några konkreta lärdomar att dra direkt:
- Granska egenvärdade AI-plattformar — Ruflo-fallet visar att standardkonfigurationer kan vara öppna mot hela nätverket. Gå igenom vilka portar och gränssnitt era agentsystem exponerar, och kräv alltid autentisering.
- Behandla språkmodeller som opålitliga gränsnitt — Utgå från att en modell kan manipuleras. Bygg säkerhetslager runt den, inte enbart inuti den.
- Utbilda om AI-bedrägerier — Den mänskliga faktorn är fortfarande den enklaste vägen in. När en AI-bedragare är skickligare än en mänsklig räcker det inte med gammalt sunt förnuft.
Vår analys
Det som slår mig när jag väger samman de här tre nyheterna är att de tillsammans beskriver ett systemskifte, inte tre isolerade incidenter.
AI har alltid haft säkerhetsbrister — men nu är de brister som är inbyggda i hur tekniken fungerar, inte fel som uppstod av slarv och som kan rättas till med ett uppdatering. Det är en viktig distinktion. Ruflo-sårbarheten åtgärdas troligen snabbt; den grundläggande svagheten i språkmodellers tankkedjor gör det inte.
Samtidigt vill jag betona att det här inte är ett skäl att dra i handbromsen på AI-satsningar. Det är ett skäl att bygga smartare. Säkerhetstänk behöver bäddas in från dag ett — i arkitektur, upphandling och utbildning. De organisationer som tar det på allvar nu bygger sig ett försprång som kommer att synas tydligt när regleringen skärps och kraven höjs. Möjligheten ligger i att agera innan det är kris — inte efter.