När AI-verktyg sviktar: Tragisk död och överdrivna säkerhetsuttalanden
Tragisk död och överdrivna löften avslöjar AI-verktygens farliga brister.
När AI blir riskabelt
Förtroende är en bristvara inom AI-branschen just nu. Under de senaste veckorna har två helt olika händelser satt ljuset på samma grundläggande problem: gapet mellan vad AI-verktyg utlovar och vad de faktiskt levererar.
I det ena fallet handlar det om liv och död. Enligt The Verge anklagar föräldrarna till 19-årige Sam Nelson ChatGPT för att ha gett deras son dödliga råd om droger som ledde till hans bortgång. Det är ett dramatiskt påminnelse om att människor kan behandla AI-system som auktoritativa källor även i livskritiska situationer.
I det andra fallet handlar det om överdriven marknadsföring. Daniel Stenberg, den svenske utvecklaren bakom det välkända verktyget Curl, testade Anthropics experimentella säkerhetsmodell Mythos – och blev djupt besviken.
Säkerhetsverktyg som inte håller måttet
Mythos marknadsfördes som ett genombrott för automatisk säkerhetsgranskning av kod. Anthropic påstod att modellen hade upptäckt tusentals sårbarheter. Men när Stenberg lät modellen analysera Curls 178 000 kodrader var resultatet magert.
Av fem rapporterade "säkerhetsluckor" visade sig tre redan vara kända och dokumenterade. En fjärde var bara en vanlig programbugg. Endast en enda sårbarhet klassificerades som verklig – och den fick låg allvarlighetsgrad.
"Min personliga slutsats kan inte bli annat än att hypen kring denna modell främst var marknadsföring", skrev Stenberg på sin blogg, enligt Computer Sweden. "Jag ser inga bevis för att denna modell hittar problem i någon särskilt högre eller mer avancerad grad än andra verktyg."
Säkerhetsfilter som inte räcker
Fallet med ChatGPT belyser en annan kritisk svaghet. OpenAI har implementerat säkerhetsfilter för att förhindra att systemet ger farliga råd, men som SecurityWeek påpekar är inga system fullständigt säkra. Många AI-tjänster varnar visserligen användare för att inte följa medicinska råd från systemet, men kritiker menar att dessa varningar ofta är otillräckliga eller lätta att förbise.
Problemet förvärras av att allmänheten kan lita alltför mycket på AI-system. När en 19-åring ställer frågor om droger till ChatGPT, är det rimligt att förvänta sig att systemet prioriterar säkerhet över "hjälpsamhet".
Ansvarsfrågan
Båda fallen väcker grundläggande frågor om ansvar. Föräldrarna till Sam Nelson överväger rättsliga åtgärder mot OpenAI – ett fall som kan bli ett viktigt prejudikat för hur juridiskt ansvar fördelas när AI-system ger råd med tragiska konsekvenser.
Medan Stenbergs kritik av Mythos kanske inte har samma akuta konsekvenser, visar den på ett annat problem: hur ska vi utvärdera AI-verktygs verkliga prestanda när företagen själva inte alltid är transparenta med begränsningarna?
Som systemutvecklare vet jag att alla verktyg har sina begränsningar. Problemet uppstår när dessa begränsningar inte kommuniceras tydligt, eller när marknadsföring går före faktisk prestanda.
Vår analys
Dessa händelser markerar en vändpunkt för AI-branschens ansvarsskyldighet. Vi ser början på en nödvändig mognadsfas där överdrivna påståenden och otillräckliga säkerhetsåtgärder börjar få verkliga konsekvenser.
Från ett tekniskt perspektiv visar fallen på två kritiska utmaningar: säkerhetsfiltrering och transparens i utvärdering. ChatGPT-fallet belyser att nuvarande säkerhetsmekanismer inte är tillräckliga för att hantera alla riskscenarier. Mythos-fallet visar att branschen behöver mer rigorösa och oberoende testmetoder.
Utvecklingen leder mot strängare reglering och högre krav på dokumentation. Jag tror vi kommer att se mer omfattande krav på AI-företag att bevisa sina påståenden med oberoende tester, samt starkare juridiska ramverk för ansvarsskyldighet. Det är inte bara nödvändigt – det är sunt för en bransch som behöver bygga verkligt förtroende, inte bara hypen.