Forskningsfabriker med AI hotar vetenskapens trovärdighet – och sätter peer review-systemet under extrem press

När floden av forskning blir ett problem

Föreställ dig att du vaknar upp och ser att din välciterade vetenskapliga artikel plötsligt har hundratals nya citeringar – på bara några månader. Det låter som en dröm för varje forskare. Men när Peter Degen vid Zürichs universitet på uppdrag av sin handledare började nysta i fenomenet, blev drömmen snabbt till en mardröm.

De citerande artiklarna följde alla exakt samma mönster. Samma offentliga datamaterial. Samma algoritmiska logik. Förutsägelser om stroke, testikelcancer, tarmcancer, fall bland äldre – en till synes oändlig ström av studier som ytligt sett såg ut som legitim forskning. Degen spårade spåren tillbaka till ett kinesiskt företag i Guangzhou som erbjöd handledningar i hur man producerar publicerbara artiklar på under två timmar, med hjälp av mjukvaruverktyg och AI-skrivassistans. Rapporterar The Verge.

Det är inte längre fråga om klumpiga, uppenbart felaktiga AI-alster som är lätta att solla bort. Den nya generationens AI-genererade forskning är sofistikerad nog att smita igenom granskningen – och det är precis det som gör den farlig.

Ett system på bristningsgränsen

Peer review – den kollegiala sakkunniggranskning som utgör ryggraden i vetenskaplig kvalitetssäkring – är redan hårt ansatt. För få granskare, för många inlämnade artiklar, för lite tid. Nu riskerar AI att bli den sista droppen som välter lasset.

– Det är en enorm belastning på granskningssystemet, som redan är på gränsen till sin kapacitet. Om språkmodellerna gör det ännu enklare att massproducera artiklar kommer systemet att nå en bristningsgräns, säger Degen till The Verge.

Detta är inte ett litet akademiskt bekymmer. Det handlar om fundamentet för hur samhället fattar beslut baserade på evidens – inom sjukvård, klimatpolitik, utbildning. Om den vetenskapliga litteraturen fylls med lågkvalitativt brus som ser ut som signal, riskerar vi att bygga framtidens beslut på sand.

Som affärsutvecklare ser jag detta som ett systemrisk av första rang. Inte för att AI är farligt i sig – utan för att vi ännu inte byggt de institutioner och verktyg som krävs för att hantera den produktivitetskraft AI faktiskt erbjuder.

Google ritar om reglerna – och skickar en tydlig signal

Samtidigt utspelar sig en parallell kamp i söklandskapet. Google har uppdaterat sin policy mot skräppost och gör det nu uttryckligen klart att försök att manipulera företagets AI-modeller i söktjänsten klassificeras som regelbrott, rapporterar The Verge med hänvisning till branschsajten Search Engine Land.

Den uppdaterade policyn täcker inte bara traditionella söklänkar utan utvidgar definitionen av otillbörlig påverkan till att explicit inkludera AI-genererade svar – de sammanfattningar och svar som visas i funktionerna AI Overview och AI Mode.

Detta är strategiskt klokt och nödvändigt. I takt med att AI i allt högre grad tar över presentationen av information har kampen om synlighet förflyttats från de klassiska länklistorna till de AI-formulerade svaren. Webbplatsägare och marknadsförare har snabbt börjat optimera sitt innehåll för att synas i just dessa svar – på samma sätt som sökmotoroptimering fungerat i decennier.

Med sin nya policy sänder Google ett tydligt budskap: de tekniker som tidigare användes för att klättra i rankningar välkomnas inte i det nya AI-drivna söklandskapet. Äkta relevans och tillförlitlighet ska vara valutan – inte algoritmisk manipulation.

Två fronter, en gemensam kamp

Det som förenar dessa två utvecklingar är egentligen en och samma grundfråga: vad är trovärdig information värd, och vem ansvarar för att skydda den?

Vetenskapen kämpar för att hålla kunskapsproduktionen äkta. Google kämpar för att hålla kunskapsförmedlingen äkta. Båda striderna är nödvändiga – och båda vittnar om att vi befinner oss i ett kritiskt skede där spelreglerna för information håller på att skrivas om från grunden.

Det är inte ett hot. Det är en inbjudan att bygga bättre system.