Konstgjord intelligens skriver sonetter men havererar vid reseplaneringen
AI skriver sonetter men havererar vid enkel reseplanering.
Kreativitet trumpar logik
Det är en fascinerande paradox som växer fram i AI-forskningen: samma språkmodeller som kan komponera välformulerade dikter och analysera komplexa texter misslyckas totalt när de ska planera en semesterresa eller beräkna exakt hur många dagar du har på dig till avresan.
Fyra nya studier från arXiv visar på en återkommande trend – AI:s styrkor och svagheter följer inte de mönster vi förväntat oss. Som systemutvecklare fascineras jag av hur dessa begränsningar avslöjar något fundamentalt om hur stora språkmodeller faktiskt fungerar.
När planeringen kraschar
En omfattande studie av reseplanering visar var skorna klämmer. Forskarna delade upp processen i fem kärnförmågor: att förstå begränsningar, använda verktyg, generera planer, identifiera fel och korrigera misstag.
Resultatet? AI-system är bra på att förstå tydligt angivna regler men havererar när de ska tolka underförstådda krav. De kan läsa att "flyget avgår klockan 10" men kopplar inte automatiskt att du måste vara på flygplatsen tidigare. Värre än så – när de väl gjort fel håller de envist fast vid felaktiga lösningar eller svänger för kraftigt åt andra hållet.
Detta mönster repeteras inom matematik och beräkningar. En annan studie demonstrerar att språkmodeller simulerar tänkande snarare än utför verkliga symboliska beräkningar. Kedjetänkande – tekniken där AI:n "tänker högt" steg för steg – ger endast begränsade förbättringar. Däremot fungerar det utmärkt när modellerna får generera programkod som externa verktyg kan köra.
Kreativitet på riktigt
Parallellt visar CreativityBench, ett nyutvecklat test för kreativ problemlösning, att AI-modeller kan välja lämpliga föremål för okonventionella användningsområden men missar detaljerna. De förstår att en hammare kan användas som brevpress, men kan inte förklara vilken del av hammaren som skulle fungera eller varför.
Ännu mer påtagligt blir gapet inom ljudprocessning. Den nya riktmärkningen ReasonAudio visar att alla tio testade toppmodeller presterade dåligt på uppgifter som kräver avancerat ljudresonemang. Att förstå "inte hundskall" eller tidsmässig ordning mellan ljud – något som känns trivialt för människor – är enormt utmanande för nuvarande AI-system.
Mönstret blir tydligt
Vad dessa studier gemensamt avslöjar är att språkmodeller är exceptionellt bra på mönsterigenkänning och språklig kreativitet, men kämpar med uppgifter som kräver exakt logik, verklig världsförståelse och systematisk planering.
Detta förklarar varför ChatGPT kan hjälpa dig skriva en övertygande projektansökan men ger fel svar på "Hur många R finns det i ordet 'jordgubbe'?". Modellerna har lärt sig att approximera mänskligt tänkande genom statistiska mönster, inte genom att bygga interna representationer av logik och kausalitet.
Hybridlösningar visar vägen
Ljuspunkten i forskningen är att kombinationer fungerar utmärkt. När språkmodeller får arbeta tillsammans med specialiserade verktyg – som kodgeneratorer för matematik eller externa planeringsmotorer för resor – uppnås perfekt noggrannhet med minimal träningskostnad.
Detta pekar mot en framtid där AI-system blir mer modulära, där olika komponenter hanterar sina respektive styrkeområden.
Vår analys
Dessa fynd förändrar hur vi bör tänka kring AI-utveckling. Istället för att jaga allt-i-ett-modeller kanske framtiden ligger i smarta hybridlösningar där språkmodeller hanterar kreativitet och kommunikation medan specialiserade system sköter logik och planering.
För utvecklare betyder detta att vi behöver designa system som spelar på varje tekniks styrkor. Låt språkmodellen formulera och förklara, men överlåt exakta beräkningar till traditionella algoritmer.
Långsiktigt tror jag detta leder till mer robusta och pålitliga AI-system. När vi förstår begränsningarna kan vi bygga runt dem istället för att förvänta oss magi. Det handlar inte om att AI är "dåligt" – det handlar om att använda rätt verktyg för rätt uppgift.