AI-systemet minns inte sitt eget beslut – och det är ett juridiskt mardrömsscenario för banker

När maskinen inte kommer ihåg vad den tänkte

Föreställ dig att en revisor ber att få granska hur ett AI-system fattade ett kreditbeslut förra kvartalet. Systemet körs igen med samma indata – och ger ett annat svar. Inte för att data förändrats, inte för att modellen tränats om, utan för att det finns en inneboende slumpmässighet djupt nere i hårdvaran och arkitekturen.

Det är precis det scenario som en ny studie publicerad på arXiv beskriver – och det är ett scenario som borde få finansbranschen att dra öronen åt sig.

Från statistik till djupa nätverk – och en ny sorts problem

Tidigare generationer av finansiella AI-system byggde i hög grad på statistiska metoder med förutsägbart beteende. En logistisk regressionsmodell ger samma svar varje gång, givet samma indata. Det är hanterbart ur ett revisionsperspektiv.

Men enligt studien har övergången till djupa neurala nätverk och generativ AI infört en ny typ av icke-determinism. Problemet bottnar inte i dålig kod eller slarvig modellering – det är inbyggt i hur modern hårdvara, parallellberäkning och vissa träningsalgoritmer fungerar. Flyttaloperationer i GPU:er kan ge marginellt olika resultat beroende på körningsordning, och dessa skillnader kan förstärkas genom nätverkslager efter lager.

I de flesta sammanhang är detta försumbart. Men i reglerade finansiella miljöer – där ett AI-system kan avgöra om ett lånekort beviljas eller om en transaktion flaggas som misstänkt – kan det vara skillnaden mellan ett granskningsbart beslut och ett som i praktiken inte går att reproducera.

Tre kritiska tillämpningsområden under lupp

Studien fokuserar specifikt på tre områden där reproducerbarhetsproblemen får störst konsekvenser:

Kreditriskbedömning är kanske det mest uppenbara. Finansinspektionen och liknande tillsynsmyndigheter kräver att banker kan motivera sina kreditbeslut. Om AI-systemet inte kan reproducera sitt eget resonemang blir den kraven i praktiken omöjliga att uppfylla.

Bedrägeridetektering arbetar i realtid och under enormt informationstryck. Här kan reproducerbarhetsproblem inte bara skapa juridiska huvudvärk – de kan också innebära att legitima transaktioner blockeras inkonsekvent, med skiftande resultat för likartade fall.

Penningtvättsbekämpning är kanske det känsligaste området. Här kan felaktiga eller inkonsistenta AI-beslut få både juridiska och regulatoriska konsekvenser av allvarligt slag.

Vad forskarna föreslår

Studiens forskare stannar inte vid problemformuleringen – de föreslår ett skiktat utvärderingsramverk som kopplar samman modellspecifika mätvärden med det de kallar revisionsberedskap. Tanken är att varje AI-komponent ska kunna utvärderas inte bara utifrån träffsäkerhet, utan utifrån hur väl den går att granska i efterhand.

Detta är ett viktigt konceptuellt skifte. Traditionellt har AI-utvärdering handlat om prestanda: hur hög är precisionen, hur lågt är bortfallet? Det nya ramverket lägger till en dimension: kan vi rekonstruera varför modellen fattade det här beslutet, och får vi samma svar om vi försöker igen?

Det låter självklart. Men i praktiken är det en betydligt hårdare kravbild än vad de flesta finansinstitut arbetar efter i dag.

En bransch i omställning – med öppna frågor

Det är ingen hemlighet att finanssektorn befinner sig i ett accelererat AI-skifte. Banker investerar massivt i automatisering, och tillsynsmyndigheter runt om i Europa – inte minst genom EU:s AI-förordning – börjar ställa allt skarpare krav på förklarbarhet och dokumentation.

Men förklarbarhet och reproducerbarhet är inte samma sak. Ett system kan ge en begriplig förklaring till ett beslut och ändå inte kunna reproducera exakt det beslutet vid en senare körning. Det är den kryphålet som den här studien sätter fingret på – och som branschen ännu inte har ett standardiserat svar på.

Som systemutvecklare ser jag det här som ett genuint tekniskt problem som kräver tekniska lösningar: deterministiska träningspipelines, versionshanterade modeller med frysta frön för slumptalsgeneratorer, och noggrann loggning av varje inferenskörning. Det finns verktyg för detta. Men det kräver att organisationer aktivt väljer att prioritera revisionsberedskap redan i designfasen – inte som en eftertanke inför nästa tillsynsgranskning.