Slår du på tv:n rasar röstassistenternas slutförandegrad från 39 till under 9 procent

Hype möter verklighet

Det är lätt att bli imponerad av demonstrationer av moderna röstassistenter. De talar flytande, svarar snabbt och verkar förstå nästan vad som helst. Men demonstrationer sker under kontrollerade förhållanden – och verkligheten är sällan kontrollerad.

Det är precis den klyftan som två nya forskningsstudier försöker mäta, och de gör det med en precision som branschen behöver.

När tv:n är på i bakgrunden

Den första studien introducerar riktmärket VAmoS Energy, utformat för att utvärdera röstassistenter i situationer som faktiskt liknar kundtjänstsamtal i verkliga hem och kontor. Testerna simulerar uppringare som ställer frågor om elfakturor och betalningshjälp – en vardaglig situation som ändå kräver att agenten hanterar identitetsverifiering och flera integrerade betalsystem.

Resultaten är talande: slutförandegraden varierade mellan 17 och 45 procent beroende på system. Grok Voice presterade bäst, följt av Gemini 3.8 Live och GPT-Live. Det är med andra ord inte katastrof under ideala förhållanden – men det är heller inte imponerande.

Sen tillkommer störningarna. När forskarna lade till bakgrundsljud i form av ett påslaget tv-program föll den samlade slutförandegraden från 38,7 till enbart 8,6 procent. Det är en kollaps, inte en försämring.

Det finns ytterligare ett oroande mönster i studien: simulerade kunder tenderar att godta felaktiga svar, eftersom de hör vad agenten säger men inte kan granska vad den faktiskt gör bakom kulisserna. Det här är inte bara ett tekniskt problem – det är en tillitsfråga med verkliga konsekvenser för dem som inte har möjlighet att dubbelkolla.

Att veta när man ska stanna

Den andra studien tar sig an ett annat, minst lika grundläggande problem: förmågan att pausa.

Testmiljön NAQD-Env är utformad för att mäta hur språkbaserade AI-agenter hanterar situationer där de behöver avbryta eller skjuta upp planerade åtgärder – till exempel när tillstånd återkallas mitt i en process eller när nya instruktioner förändrar förutsättningarna.

Av 3 150 testade händelseförlopp med tre olika öppna språkmodeller nådde återkallningsgraden som högst 0,06. Och ingen giltig återupptagning observerades när tillfälle gavs. Bara ett enda fall matchade den fullständiga referenspolicyn.

Det är siffror som stannar till vid. En AI-agent som inte vet när den ska stanna är inte en assistent – den är en risk.

Forskarna testade även övervakad finjustering, vilket gav lovande resultat: beslutsträffsäkerheten hos modellen Qwen2.5-3B förbättrades från 0,45–0,54 till 0,83–0,92. Det visar att problemet inte är olösbart, men att det kräver riktad träning – det räcker inte med att bygga en stor och allmänt kapabel modell.

Vad mäter vi egentligen?

Det som förenar de två studierna är en viktig metodfråga: vad väljer vi att testa?

Branschen har länge fokuserat på att mäta enskilda förmågor under gynnsamma förhållanden. Kan modellen svara rätt på frågan? Kan agenten utföra uppgiften när allt fungerar? Det är rimliga startpunkter, men otillräckliga mått på systemens verkliga tillförlitlighet.

VAmoS Energy och NAQD-Env representerar ett mer moget sätt att tänka kring utvärdering: testa hela samtalet, inte bara det talade ordet. Testa förmågan att avbryta, inte bara förmågan att agera. Det är en välkommen skärpning av ribban.

Som systemutvecklare känner jag igen den här dynamiken. Det är frestande att optimera för det mätbara och presentabla. Det som verkligen testar ett systems mognad är kantfall, brus och förändrade förutsättningar – precis det som dessa studier nu kvantifierar.

Det är goda nyheter att forskarvärlden börjar ställa de svåra frågorna. Nästa steg är att produktteamen lyssnar.