Artificiell intelligens blir specialist – överträffar stora språkmodellerna inom specifika områden

Specialiserade modeller för vetenskapens gränser

En av de mest intressanta utvecklingarna inom AI-forskning är att vi nu ser högspecialiserade modeller som överträffar generella språkmodeller inom specifika områden. Forskare har utvecklat den första heltäckande AI-modellen för förbränningsvetenskap, enligt ny forskning från arXiv. Problemet med vanliga språkmodeller är att de ofta skapar felaktiga svar inom komplexa fysikaliska system eftersom de saknar djupare domänkunskap.

Den nya metoden kombinerar automatisk konstruktion av domänspecifikt innehåll med stegvis förträning och säkerställer att modellen verkligen förstår fysikaliska lagar istället för att bara lära sig textmönster. Forskarna har också släppt FlameBench, ett standardiserat utvärderingsverktyg som visar att den specialiserade modellen presterar betydligt bättre än ledande allmänna AI-modeller.

Denna utveckling mot domänspecifika modeller syns även inom andra områden. Finansforskning har tagit fram ReLaMix, en AI-modell som drastiskt förbättrar prognoser för högfrekventa finansmarknader när data kommer försenat. Modellen använder "residual latency-aware mixing" för att aktivt filtrera bort överflödig information från inaktuella värden samtidigt som den bevarar viktig marknadsdynamik.

Genombrott för tillgänglighet och mångfald

En annan stark trend är utvecklingen av AI-system som gör tekniken mer tillgänglig för underrepresenterade grupper. Forskare har presenterat HATL, ett ramverk som förbättrar maskinöversättning av teckenspråk genom progressiv och dynamisk upplåsning av förtränade lager. Tester visar BLEU-4-förbättringar på upp till 37,6 procent jämfört med traditionella metoder.

Språklig mångfald får också större uppmärksamhet. Ett forskningsteam har utvecklat Breeze Taigi för taiwanesiska hokkien och vidareutvecklat en Whisper-modell genom träning på cirka 10 000 timmar syntetiskt tal. Parallellt har andra forskare skapat Chitrakshara, en omfattande dataset som täcker 11 indiska språk med 193 miljoner bilder och 30 miljarder textenheter för att förbättra kulturell representation i AI-modeller.

Säkrare och mer tolkbara system

Ett genomgående tema i årets forskning är att göra AI-system mer tillförlitliga och förståeliga. Forskare har utvecklat SCoOP (Semantic-Consistent Opinion Pooling) som minskar hallucinationer i multimodala system genom att bättre hantera osäkerhet när flera vision-språkmodeller kombineras. Metoden uppnådde 86,6 procent träffsäkerhet för att upptäcka hallucinationer – 10-13 procent bättre än tidigare metoder.

Inom tolkningsbar AI har forskare presenterat ramverket AI Mother Tongue (AIM) som avslöjar hur videobaserade modeller internt representerar världen. Studien visar att modeller har utvecklat distinkta symboliska representationer för olika fysiska aspekter som greppvinkel, objektgeometri och rörelsemönster.

Effektivare planering och beslutsfattande

Forskningsframstegen omfattar också förbättrad planering och beslutsfattande. PA2D-MORL, en ny metod för flermålsinlärning, tacklar utmaningen att fatta beslut när olika mål står i konflikt med varandra. Tekniken använder Pareto-riktning för att välja hur olika mål ska viktas och har överträffat nuvarande toppmetoder i robotstyrningsuppgifter.

Inom kunskapshantering har DIAL-KG introducerats som ett ramverk för att bygga kunskapsgrafer stegvis utan förutbestämd struktur. Till skillnad från traditionella metoder som kräver fullständig ombyggnad när ny data tillkommer, kan DIAL-KG anpassa sig dynamiskt efter den information som tillkommer.