Forskarna upptäckte AI:ns stora svaghet – språkmodeller överger vetenskaplig kunskap för enkla mönster

Kunskapens förrädiska försvinnande

Det låter som en självklarhet: ge en AI-modell exempel på hur den ska lösa problem, så blir den bättre. Men verkligheten visar sig vara betydligt mer komplicerad. Ny forskning från arXiv avslöjar att språkmodeller systematiskt överger sin förtränade vetenskapliga kunskap när de får exempel att utgå ifrån – även när exemplen genereras med exakt samma formler som modellerna redan behärskar.

I en omfattande studie över 60 olika uppgifter inom fem vetenskapliga områden visade forskarna att modellerna slutar använda kunskapsdriven härledning och istället övergår till empirisk mönsterigenkänning. Det är som om en erfaren fysiker plötsligt skulle glömma termodynamikens lagar bara för att någon visar ett par exempel på värmeöverföring.

Logik måste läras explicit

Problemet sträcker sig djupare än bara vetenskapligt resonemang. Separat forskning inom neuro-symbolisk AI visar att logiskt tänkande inte uppstår automatiskt när AI-system lär sig koppla symboler till verkliga objekt – en grundläggande förutsättning som länge tagits för given inom området.

Genom det nya systemet Iterative Logic Tensor Network (iLTN) kunde forskarna bevisa att AI-system som endast tränas på objektigenkänning helt misslyckas med att generalisera sina kunskaper till nya situationer. Enligt studien presterar system som tränas samtidigt på både symbolförankring och flerstegsresonemang betydligt bättre på okända uppgifter.

Lovande lösningar på horisonten

Trots dessa utmaningar pågår intensiv utveckling av metoder som kan återställa och förbättra AI-modellernas resonemangsförmåga. Forskare har utvecklat PAINT (Partial-solution Adaptive INterpolated Training), en hybridmetod som strategiskt döljer delar av korrekta lösningar under träningen. Tekniken balanserar fördelarna från förstärkningsinlärning och traditionell övervakad träning.

Resultaten är uppmuntrande: på avancerade matematikbenchmarks förbättrades prestandan med över 2 procentenheter jämfört med tidigare metoder. Samtidigt har metoden Entrocraft visat att en 4 miljarders parametermodell kan prestera bättre än en 8 miljarders basmodell genom smartare träningsstrategier.

Vad betyder detta praktiskt?

För utvecklare och forskare som arbetar med språkmodeller i vetenskapliga sammanhang är budskapet kristallklart: exempel kan förtränga snarare än förstärka den kunskap de är avsedda att stödja. Detta förklarar varför många AI-system som fungerar bra i laboratorieförhållanden plötsligt presterar sämre när de ställs inför verkliga problem.

Utmaningen ligger i att hitta rätt balans mellan att ge modellerna konkret vägledning och att bevara deras förmåga att använda djupare kunskaper. Det räcker inte med att stoppa in mer data – vi måste vara strategiska i hur vi designar träningsprocesserna.

Framtidens träningsmetoder

Den samlade forskningen pekar mot att framtidens AI-träning kommer kräva mer sofistikerade hybridmetoder. Istället för att välja mellan kunskapsdriven eller datadriven träning behöver vi utveckla system som kan växla intelligent mellan olika strategier beroende på sammanhanget.

Detta är inte bara en teknisk utmaning – det handlar om att bygga AI-system som kan behålla sin expertis även när de möter nya situationer. För en systemutvecklare som mig är det fascinerande att se hur dessa upptäckter driver fram innovativa lösningar som PAINT och Entrocraft.