De bygger AI – och fruktar att den dödar oss alla

Upproret inifrån

När interna röster vid ett av världens mest säkerhetsfokuserade AI-laboratorier börjar tala öppet om existentiella hot, är det svårt att blunda. Jacob Coxon, tidigare forskare vid Anthropic och dessförinnan OpenAI, lämnade nyligen sin tjänst i protest och riktade skarp kritik mot båda företagen – enligt Ny Teknik med orden att "de som bygger AI tror på fullt allvar att tekniken skulle kunna döda oss alla innan decenniets slut".

Han är inte ensam. Evan Hubinger, säkerhetsforskare som fortfarande är verksam vid Anthropic, ger en liknande bild och uppskattar personligen risken för att AI ska kunna utrota mänskligheten till mer än tio procent – inom en tioårsperiod. Det är en siffra som är svår att förhålla sig neutralt till, oavsett hur skeptisk man är till undergångsprofetior.

Vad som gör Hubingers uttalande extra tungt är det han inte påstår: att Anthropic gör fel. Tvärtom medger han att företaget gör sitt bästa – men påpekar att det saknas en konkret plan för hur man säkerställer att ett AI-system som överstiger mänsklig förmåga faktiskt lyder sina skapare. Det är en häpnadsväckande ärlig bekännelse från ett företag som profilerar sig på just säkerhet.

Stulen matematik?

Samtidigt blottar en annan konflikt en helt annan typ av risk – inte existentiell, utan juridisk och forskningsetisk. Matematikern Andreas Thom publicerade en serie inlägg på Mastodon där han beskriver hur samtal han och kollegor fört med ChatGPT kan ha bidragit till ett av OpenAI:s mest uppmärksammade matematiska genombrott, rapporterar The Verge. Resultatet gäller så kallade icke-sofiska grupper – ett smalt men tekniskt betydelsefullt område där Thom själv är ledande expert.

OpenAI har erkänt att deras resultat i hög grad bygger på tidigare arbete av Thom och matematikern Gábor Kun. Men frågan som Thom ställer är mer principiell: hur kunde OpenAI visa en så detaljerad förtrogenhet med tekniker som varken var de mest uppenbara eller de mest lovande vägarna till en lösning? Och om konversationer med ChatGPT ingick i träningsdata – borde inte det redovisas öppet?

Det är en fråga utan enkelt svar, men den sätter fingret på ett bredare problem: gränsen mellan inspiration och tillgrepp är suddig när det handlar om storskaliga språkmodeller som absorberar mänsklig kunskap i industriell skala.

Svenska experter: Fel frågor dominerar debatten

Mitt i detta brus väljer svenska experter att dämpa tongångarna – men inte för att avfärda riskerna. Snarare, rapporterar Breakit, för att skrämselpropagandan om mänsklig utplåning riskerar att skymma mer konkreta och omedelbara utmaningar: partiskhet i algoritmer, påverkan på arbetsmarknaden, demokratiska risker.

Den invändningen förtjänar att tas på allvar. Det är lätt att fastna i science fiction-scenarier om superintelligens när verkligheten redan bjuder på handfasta problem som kräver politisk och teknisk uppmärksamhet nu.

Samtidigt tycker jag att det vore fel att avskriva de existentiella varningarna som ren marknadsföring. Coxon adresserar direkt den tolkningen: att chefer och ledande forskare tonar ned sina offentliga formuleringar för att verka förnuftiga, medan samma personer uttrycker rädsla i privata sammanhang. Det är en kultur av dubbla budskap som branschen behöver granska sig själv kring.

Tre berättelser – ett mönster

Lägger man de tre berättelserna bredvid varandra framträder ett mönster: AI-branschen opererar med en transparens som inte är proportionerlig mot dess samhälleliga påverkan. En forskare tvingas hoppa av för att få säga vad han tänker. Matematiker måste gå till Mastodon för att ens få fråga varifrån deras arbete hamnade. Och de konkreta, mätbara riskerna drunknar i apokalyptisk retorik som – oavsett om den är befogad – svårligen leder till konstruktiv handling.

Det är ett mognadsglapp. Tekniken springer ifrån de institutionella strukturer som ska hantera den.