AI-modellerna bestämmer sig innan de börjar "tänka"
AI-modeller fattar beslut innan de börjar resonera, visar ny forskning.
AI:s dolda brister kommer i dagen
Det som verkar som djupt, strategiskt tänkande från AI-modeller är ofta bara en illusion. Ny forskning från flera oberoende studier avslöjar systematiska svagheter i hur dagens mest avancerade språkmodeller verkligen resonerar.
I en banbrytande studie av AI-modellers planeringsförmåga upptäckte forskare något förvånande: trots att modellerna genererar omfattande tankekedja-resonemang som verkar djupt och genomtänkt, baseras deras faktiska beslut på ytlig planering. Genom att analysera hur AI-modeller spelar fyra-i-rad visade forskarna att modellernas sökning är grundare än människors, och att prestanda förutsägs bättre av sökningens bredd än djup.
Problemet sträcker sig till grundläggande logik. En separat studie testade AI-modellers förmåga att lösa det så kallade ekvivalentklassproblem – en av de enklaste formerna av långkedjigt matematiskt resonemang. Resultatet var nedslående: icke-resonerande modeller misslyckades helt, medan även avancerade resonerande modeller kämpade för att lösa problemen.
Modellerna bestämmer sig innan de "tänker"
Kanske mest avslöjande är upptäckten att AI-modeller egentligen bestämmer sina svar innan de skriver dem. Forskare utvecklade en metod för att mäta när språkmodeller "bestämmer sig" för ett svar under textgenereringen. Resultatet visar att modellens svar stabiliseras i genomsnitt 17-31 token innan svaret faktiskt kan tolkas i texten.
Detta förklarar varför AI-modeller ofta når rätt svar trots felaktiga mellansteg i resonemangsprocessen – de har redan "bestämt sig" och fyller sedan i ett resonemang som stödjer det förutbestämda svaret.
Ojämn kognitiv utveckling
En psykometrisk utvärdering av ledande multimodala modeller avslöjar en märkligt ojämn kognitiv arkitektur. Modellerna presterar utmärkt inom språkförståelse och arbetsminne (över 98:e percentilen jämfört med människor), men extremt dåligt på perceptuell slutledning (under första percentilen).
Studien av sex generationer av AI-modeller visar att abstrakt kvantitativ slutledning utvecklas mycket snabbare när den presenteras språkligt jämfört med visuellt, vilket tyder på en stark partiskhet mot språkbaserad symbolmanipulation.
Lösningar på horisonten
Trots dessa brister arbetar forskare på lösningar. En ny metod kallad CASPO (Confidence-Aware Step-wise Preference Optimization) tränar modeller att känna igen när de är osäkra på ett visst steg i sitt resonemang. Under användning kan systemet sedan automatiskt förkasta osäkra resonemangsvägar.
En annan teknik, Implicit Compression Regularization, adresserar problemet att AI-modeller tenderar att "övertänka" och generera onödigt långa resonemang. Metoden lyckas förkorta svar samtidigt som noggrannheten bevaras eller till och med förbättras.
Paradoxalt nog visar också forskning att språkmodeller kan vara kraftfulla verktyg för vetenskaplig upptäckt. En ny metod som kombinerar stora språkmodeller med traditionell kvantitativ analys har visat framgång i att upptäcka differentialekvationer från observationsdata.
Vår analys
Dessa forskningsrön förändrar fundamentalt hur vi bör förstå dagens AI-modeller. Det som framstår som superintelligens är ofta sofistikerad mimikry snarare än äkta förståelse. Detta är dock inte nödvändiglöivis en katastrof – det är värdefull kunskap som kan styra utvecklingen.
För systemutvecklare innebär detta att vi måste designa system som kompenserar för dessa brister. Istället för att blint lita på AI:s resonemang bör vi fokusera på att validera slutresultat och använda AI:s styrkor (snabb informationsbehandling, mönsterigenkänning) medan vi kompletterar svagheterna.
Framtiden ligger troligen i hybridlösningar där AI:s snabba bearbetning kombineras med mer rigorösa valideringsmekanismer. Metoderna för förtroendemätning och koncist resonemang visar att problemen går att adressera – vi behöver bara vara ärliga om vad vi arbetar med.