Ingen vet om deras system räknas som AI – nu ska forskare reda ut juridikens största fallgrop

Den avgörande frågan ingen vill fastna på

EU:s AI-förordning är historisk. Den är den första heltäckande regleringen av artificiell intelligens i världen, och den påverkar i praktiken varje organisation i Sverige som arbetar med datadriven automatisering. Men mitt i det juridiska ramverket gömmer sig en fråga som riskerar att bli ett riktigt huvudbry för svenska bolag och myndigheter: när är ett datasystem faktiskt ett AI-system?

Det låter som en filosofisk fråga, men det är en djupt praktisk och ekonomisk sådan. Svaret avgör om ditt system kräver riskklassificering, dokumentation, granskningsmöjligheter och i vissa fall ett fullständigt förbud mot driftsättning.

Forskare vid Fraunhofer-institutet har tagit sig an just denna utmaning och presenterat ett ramverk som graderar olika nivåer av slutledningsförmåga hos datadrivna system. Det är nämligen denna förmåga — att dra slutledningar — som enligt förordningens ordalydelse skiljer ett AI-system från vanlig mjukvara. Problemet är att lagstiftningen inte definierar begreppet tillräckligt skarpt.

Som konkret testfall undersöker Fraunhofer-forskarnas arbete kreditbedömningssystem, en kategori som faktiskt nämns uttryckligen i förordningens bilaga III. Ändå är det oklart om ett statistiskt kreditbedömningsverktyg — ett som för några år sedan hade kallats "avancerad analys" — nu plötsligt är att betrakta som ett högrisk-AI-system. Ramverket betonar att hela databehandlingskedjan måste granskas, inte bara den modell som producerar ett slutresultat. Dessutom pekar forskarnas analys på en intressant detalj: mänskliga experters medverkan under systemutvecklingen kan faktiskt påverka den juridiska bedömningen av om slutledningsförmåga föreligger.

Detta är inte en trivial distinktion. Det betyder att en organisations interna processer — vem som designade systemet och hur — kan bli avgörande juridisk dokumentation.

Granskningsbarhet som konkurrensfördel

Parallellt med klassificeringsfrågan växer en annan insikt fram: de organisationer som tidigt bygger sina system med granskningsmöjlighet och förklarbarhet som grundprincip kommer att ha ett rejält försprång.

Ett färskt exempel på vad det kan innebära i praktiken är SemantiClean, ett ramverk för analys av kundbeteende inom e-handel som presenteras av en forskargrupp med fokus på transparens och reproducerbarhet. Systemet organiserar 24 beteendeelement i fyra lager och använder en integrerad språkmodell för att förutsäga köpavsikt och kundpreferenser — men det verkligt intressanta är att varje beslut kan granskas och förklaras i efterhand. Resultaten är fullt reproducerbara, och systemet innehåller inbyggda mekanismer mot partiskhet, inklusive hantering av kallstartsscenarier där historiska data saknas.

Detta är exakt den typ av arkitektoniska val som EU:s AI-förordning premierar. En organisation som redan idag bygger sina analyssystem med beslutsspår och förklarbarhet i kärnan behöver inte retroaktivt bygga om allt när tillsynsmyndigheterna knackar på.

AI-agenter skapar en helt ny utmaning

Men om kreditbedömning och e-handelsanalys är komplexa att klassificera, representerar AI-agenter en ännu svårare nöt att knäcka — både för lagstiftare och för säkerhetsansvariga i företag.

En ny referensarkitektur från ytterligare en forskargrupp adresserar ett problem som traditionell IT-säkerhet helt enkelt inte var byggd för: en AI-agent som agerar självständigt på ett företags vägnar kan läsa sammanhang, anropa externa tjänster och ändra affärssystem på sätt som ingen människa uttryckligen godkänt i realtid. Det är en handlingsfrihet som inte liknar något tidigare datorprogram.

Den föreslagna arkitekturen bygger på fem plan — ett resoneringsplan som bedömer agentens avsikt, och fyra verkställighetsplan som täcker nätverk, identitet, slutpunkter och data. En central innovation är konceptet med sammansatta huvudmän med avtagande behörigheter, det vill säga att en agents rättigheter automatiskt minskar ju längre bort från ursprungliga instruktioner den rör sig. I tester fattades säkerhetsbeslut på ensiffriga mikrosekunder med en manipuleringsskyddad granskningslogg.

För svenska verksamheter som utforskar AI-agenter för automatisering av affärsprocesser är denna typ av arkitektur inte bara god praxis — det är sannolikt en förutsättning för att kunna visa regelefterlevnad överhuvudtaget.

En ny kompetensfråga tar form

Samantaget pekar dessa tre forskningsarbeten mot samma slutsats: EU:s AI-förordning skapar ett helt nytt kompetensbehov i organisationer. Det räcker inte längre med jurister som förstår lagens bokstav, eller med ingenjörer som bygger fungerande system. Det behövs personer som förstår båda — och som kan avgöra om ett statistiskt modellpaket, ett agentbaserat automatiseringssystem eller ett beteendeanalysverktyg faller inom lagens tillämpningsområde och i så fall i vilken riskklass.

Den organisation som bygger upp den kompetensen nu sitter på ett strategiskt försprång som bara kommer att växa i värde.