De som kan katastrofer får inte vara med och bestämma om AI
Katastrofexperterna utesluts när teknikbolagen formar AI-säkerhetens framtid.
Vem äger egentligen AI-säkerhetsdebatten?
Det finns ett mönster i hur teknikbranschen hanterar sina egna risker: man bjuder in de man känner igen. Mjukvaruutvecklare, riskkapitalister, produktchefer – folk som talar samma språk, delar samma grundantaganden och framför allt: som har ett ekonomiskt intresse i att tekniken rullas ut så snabbt som möjligt.
Resultatet? En säkerhetsdebatt som i grunden handlar om att skriva bättre kod.
Det är ett problem. Och det är ett problem som CleanTechnica nyligen satte fingret på med skärpa: när teknikbolagen planerar hur AI ska integreras i samhällskritisk infrastruktur – elnät, autonoma transportsystem, virtuella kraftverk – saknas de proffs som faktiskt ägnat sina karriärer åt att förstå hur komplexa system kollapsar.
Illusionen om den felfria maskinen
Grundantagandet i mycket av dagens AI-säkerhetsarbete är att tillräckligt välkalibrerade modeller och tillräckligt robust kod gör katastrofer onödiga. Förhindra felet innan det uppstår. Bygg bort risken.
Det låter rimligt. Det är också fel.
Erfarna katastrofsamordnare – från organisationer som amerikanska FEMA till kommunala beredskapsenheter världen över – vet något som teknikbranschen verkar ha svårt att ta till sig: komplexa system havererar förr eller senare. Inte för att ingenjörerna var slarviga, utan för att komplexitet i sig genererar oförutsedda beteenden. Yttre faktorer samverkar på sätt ingen modell förutsåg. Kedjereaktioner uppstår där ingen förväntade dem.
Innom professionell krishantering arbetar man därför inte med prevention som enda strategi. Istället utgår man från en livscykel med fyra faser: riskreducering, beredskap, insats och återhämtning. Poängen är att acceptera det oundvikliga – och bygga system som tål att gå fel.
Den insikten lyser i stort sett helt med sin frånvaro i AI-branschen idag.
Ett demokratiskt underskott i riskbedömningen
Jag vill vara tydlig: jag är genuint entusiastisk över vad AI kan åstadkomma. Möjligheterna är reella och transformativa. Men just därför är det här problemet så viktigt att ta på allvar.
När de som sätter agendan för AI-säkerhet är samma personer som tjänar pengar på att tekniken används i stor skala, uppstår ett strukturellt problem med partiskhet. Det är inte fråga om ond vilja – det handlar om blinda fläckar. Och blinda fläckar i säkerhetsbedömningar för samhällskritisk infrastruktur är inte ett abstrakt filosofiskt problem. Det är ett konkret samhällsrisks-problem.
FEMA och liknande organisationer har under decennier byggt upp beprövade ramverk för just den typ av systemkollaps som AI-integration i kritisk infrastruktur kan utlösa. Ändå bjuds de sällan in till bordet. Det är inte en slump – det är ett symptom på hur debatten är organiserad och vem som äger den.
Vad behöver förändras?
Det handlar inte om att stoppa AI-utbyggnaden. Det handlar om att ta med rätt kompetens när besluten fattas.
Konkret innebär det att katastrofsamordnare, riskhanteringsexperter och säkerhetsproffs behöver vara med från början – inte inkallas som brandkår när något redan gått snett. Det innebär att säkerhetsramverk för AI i kritisk infrastruktur bör utgå från beprövad krishanteringsmetodik, inte bara från mjukvaruutvecklingens bästa praxis.
Och det innebär att de regelverk och standarder som nu formas – i EU, i USA, och i Sverige – måste involvera en bredare expertbas än den som tekniklobbyn naturligt graviterar mot.
AI är inte ett mjukvaruprojekt. Det är en samhällsomvandling. Och samhällsomvandlingar kräver samhällsexpertis.
Vår analys
Det här är en av de mer strukturellt viktiga frågorna i hela AI-debatten – och den får alldeles för lite uppmärksamhet.
Problemet är inte att teknikentreprenörer saknar kompetens. Det är att de har fel typ av kompetens för delar av den här utmaningen. Att bygga ett resilient system som tål att gå fel kräver en annan tankeskola än att bygga ett system som fungerar optimalt under normala förhållanden.
I takt med att AI integreras djupare i samhällskritisk infrastruktur – något som sker snabbt och på bred front – ökar konsekvenserna av varje säkerhetsglapp exponentiellt. Det prejudikat som sätts nu, när ramverken formas, kommer att påverka hur vi hanterar AI-risker i decennier framåt.
Min bedömning: det behövs ett aktivt institutionellt tryck – från lagstiftare, tillsynsmyndigheter och inte minst från civilsamhället – för att tvinga in krishanteringskompetens i dessa processer. Det kommer inte att ske av sig självt.