Fyra bilder räcker inte – ny forskning avslöjar hur lite det ska till för att lura ett AI-system

Tillförlitlighet är inte ett tillval — det är en förutsättning

När vi pratar om AI-framsteg handlar det ofta om vad systemen klarar av: vilka uppgifter de löser, hur snabbt, med hur hög träffsäkerhet. Men det finns en lika viktig fråga som sällan får samma uppmärksamhet: hur vet vi att ett AI-system är tillräckligt tillförlitligt för att faktiskt driftsättas?

Det är precis den frågan som två nyligen publicerade studier på arXiv försöker besvara — och svaren är värda att stanna upp vid.

När fyra bilder inte räcker

En studie inom datorseende undersöker grundförutsättningarna för AI-baserad avvikelsedetektering — alltså system som larmar när något ser fel ut, till exempel i industriell kvalitetskontroll. Forskarna testade bildanalysmodellen DINOv2 på industriella datamängder och ställde en enkel men fundamental fråga: hur mycket träningsdata krävs egentligen för att ett sådant system ska larma med garanterad precision?

Resultaten är tydliga och lite obehagliga. Med enbart fyra träningsbilder överskred det verkliga felalarmsvärdet det önskade med hela 70 procent under kontrollerade störningsförhållanden. Det är inte ett marginellt överskridande — det är en systemkritisk skillnad.

För att uppnå en statistiskt giltig tillförlitlighetsgräns på 95 procent krävs, enligt studien, minst 14 till 59 oberoende datakategorier beroende på önskad precision. En nivå som, som forskarna själva påpekar, sällan uppnås i praktiken.

Det här är inte ett argument mot AI i industrin. Det är ett argument för att vi behöver skilja tydligt på två saker: att mäta ett systems rangordningsförmåga, och att certifiera det för driftsättning med garanterade felnivåer. De är inte samma sak — och förväxlingen kan få allvarliga konsekvenser i miljöer där ett falskt larm, eller uteblivet larm, kostar mer än tid.

Metodlån över ämnesgränser

Den andra studien rör sig i en helt annan domän — farmakogenomisk cancerforskning — men illustrerar något som ligger djupt i hur AI och maskininlärning faktiskt utvecklas: de bästa lösningarna kommer ofta från oväntat håll.

Forskare har tillämpat så kallad Item Response Theory (IRT), en psykometrisk metod ursprungligen utvecklad för att analysera provresultat, på problemet att rangordna cancerläkemedels effektivitet vid ofullständiga datamängder. I modellen behandlas cancertyper som studieobjekt med varierande motståndskraft, medan läkemedel betraktas som uppgifter med olika svårighetsgrad.

Tillämpat på över 242 000 känslighetsmätningar från GDSC2-databasen presterade metoden avsevärt bättre än enkel medelvärdesberäkning vid ofullständiga data — vid 60 procents saknade värden förbättrades rangordningens träffsäkerhet med upp till 9,5 procentenheter.

Forskarna är noga med att betona att bidraget är metodologiskt snarare än kliniskt. En korsvalidering mot en annan plattform visade svag samstämmighet, vilket innebär att resultaten inte bör läsas som en universell förteckning över läkemedelsresistens. Men det är ändå ett elegant exempel på hur metoder vandrar mellan discipliner och hittar ny användning.

Den gemensamma tråden

Dessa två studier handlar om vitt skilda tillämpningar — industriell kvalitetskontroll och cancerforskning — men de delar en viktig underliggande frågeställning: vad krävs för att ett AI-baserat resultat ska vara tillräckligt robust för att vi ska kunna agera på det?

Det är en fråga som branschen som helhet behöver bli bättre på att ställa. Det räcker inte att ett system presterar bra i genomsnitt, på en utvald datamängd, under ideala förhållanden. Verkliga miljöer är stökiga, data är ofullständiga och felen kan vara kostsamma.

Att forska på dessa gränser — att faktiskt härleda matematiska minimikrav och metodologiska begränsningar — är inte pessimism. Det är den typ av grundarbete som gör att vi på sikt kan bygga system vi genuint kan lita på.