Ny teknik kan förutsäga när robotar riskerar att krascha

Forskare utvecklar nya verktyg för säkrare AI-system

AI-system blir allt mer komplexa och kritiska för samhällsfunktioner, men samtidigt växer utmaningarna med att säkerställa att de fungerar pålitligt under verkliga förhållanden. Nu visar två nya forskningsstudier på arXiv hur vi kan bygga robustare AI-system genom att tackla olika typer av systematiska svagheter.

Sensorer som förlorar precision över tid

En av de mest praktiska utmaningarna för AI-styrda system är när sensorer gradvis försämras eller behöver kalibreras om under drift. Tänk på en autonom robot som navigerar i en fabrik – om dess avståndssensorer börjar avvika från sina ursprungliga värden kan hela systemet börja prestera sämre eller till och med krascha.

Forskare har nu utvecklat en algoritm kallad "Robust Interval Search" som kan förutsäga exakt hur mycket sensoravvikelse ett AI-system tål innan dess prestanda faller under acceptabla nivåer. Metoden fokuserar på så kallade POMDP-system (Partially Observable Markov Decision Processes), som används när AI måste fatta beslut baserat på ofullständig information – något som är vanligt inom robotik och operationsanalys.

Det imponerande med denna forskning är att algoritmen har testats på system med tiotusentals tillstånd, vilket visar att den kan hantera verkligt komplexa tillämpningar. Detta är inte bara akademisk teori – det handlar om att bygga autonoma system som fortsätter fungera även när verkligheten inte matchar träningsdata perfekt.

Klockor som lurar övervakningssystem

En annan kritisk svaghet har upptäckts i distribuerade AI-system, där flera datorer arbetar tillsammans. Även små tidsskillnader mellan olika noder – så kallad klockskevhet – kan skapa vilseledande övervakningsdata, trots att systemets faktiska prestanda förblir opåverkad.

I kontrollerade experiment visade forskarna att system fungerar felfritt upp till tre millisekunders tidsskillnad, men vid fem millisekunders avvikelse uppstår tydliga brott mot kausaliteten i övervakningsdata. Det fascinerande är att systemens genomströmning och noggrannhet ändå förblev stabil – problemet låg i att vi inte kunde förstå vad som egentligen hände i systemet.

Detta kan låta som en teknisk detalj, men tänk på konsekvenserna: om vi inte kan lita på övervakningsdata kan vi missa verkliga problem eller reagera på falska larm. I kritiska tillämpningar som sjukvård eller finanssystem kan detta få allvarliga följder.

Från reaktiv till proaktiv säkerhet

Båda studierna pekar på samma viktiga förändring i hur vi tänker kring AI-säkerhet. Istället för att vänta på att problem uppstår och sedan försöka lösa dem, utvecklar forskarna nu verktyg som kan förutsäga och förhindra systemfel innan de inträffar.

Robust Interval Search-algoritmen låter utvecklare testa hur känsliga deras system är för sensorfel redan under designfasen. På samma sätt hjälper forskningen om klockskevhet utvecklare att förstå vikten av korrekt tidssynkronisering i distribuerade system.

Dessa framsteg kommer särskilt väl till pass när AI-system blir mer autonoma och får större ansvar. Vi behöver kunna lita på att de fungerar pålitligt även när förutsättningarna förändras – och nu får vi verktygen för att säkerställa just det.