Metode og kilder for norsk talegjenkjenning

Sist oppdatert 11. oktober 2026

Norsk vs engelsk-først-modeller

Resultatene vi viser til

Hva Word Error Rate betyr

Word Error Rate, ofte forkortet WER, er en vanlig målemetode for talegjenkjenning. Den teller hvor mange ord som må legges til, fjernes eller byttes for at transkripsjonen skal matche fasiten.

Lavere WER betyr færre feil. 2,2 % WER betyr omtrent 22 feil per 1000 referanseord i testsettet, ikke at alle stemmer, dialekter og opptak alltid får nøyaktig samme resultat.

Hva som er målt

• NST består av norsk, opplest tale fra mange talere og gir et signal for bokmål under disse testforholdene.
• Fleurs er et mer variert datasett og gir et bredere bilde av robusthet.
• Tallene er modellresultater for NB-Whisper, ikke en garanti for hvert enkelt opptak i Kviskr.

Kviskrs egne målinger

Tallene over er Nasjonalbibliotekets. 2,2 % er deres resultat for den fulle NB-Whisper Large på NST, ikke et tall Kviskr har målt. Vi har også målt selv, på fem offentlige norske testsett. Der sammenligner vi Standard, som er NB-Whisper Large slik den kjører i Kviskr, med Ekko, Kviskrs egen modell trent videre fra den. Målt 11. oktober 2026.

Tallene er per 100 ord i fasiten. Lavere er bedre. Uthevet betyr at forskjellen er større enn det tilfeldighetene kan forklare. Ekko er også tydelig dårligere på feil ord i NB Samtale og NorGovPCC.

Slik måler vi

• Begge modellene kjører i Kviskrs egen motor (whisper.cpp), i samme komprimerte format og med de samme innstillingene som appen bruker når du dikterer. Teksten går gjennom den samme etterbehandlingen som i appen før den skåres.
• Vi teller utelatte ord og feil ord hver for seg, i stedet for ett samlet WER-tall. En modell kan få færre feil ord bare ved å skrive mindre, og det skal ikke se ut som en forbedring.
• Feil ord er ord som er byttet ut eller lagt til. Skåringen er normnøytral: samme ord i en annen norm (nynorsk, dialekt eller bokmål) og forkortelser skrevet ut («for eksempel» mot «f.eks.») teller ikke som feil. Nølelyder som «eh» tas bort på begge sider, og tegnsetting telles ikke.
• Stavede ord og tall med tusenskille skåres likt uansett skrivemåte. NSTs klipp med staving, store tall og sifferrekker er holdt utenfor tabellen, fordi fasiten der skriver tall med bokstaver.
• Vi regner ut usikkerheten ved å trekke klippene på nytt 2 000 ganger (bootstrap) og ser på forskjellen mellom modellene på de samme klippene, med 95 % konfidensintervall.
• Talerne i testsettene er holdt utenfor Ekkos trening. Unntaket er NorGovPCC: Ekko er trent på andre klipp fra samme samling, så noen talere kan gå igjen. NB Samtale og Tuva er ikke brukt i treningen.
• Vi publiserer bare tall fra testsett andre kan hente, ikke fra egne opptak.

Testsettene

• NB Samtale, NB Tale, NST og Tuva kommer fra Språkbanken i Nasjonalbiblioteket. NorGovPCC er en åpen samling av regjeringens pressekonferanser.
• Fra NB Samtale bruker vi 500 klipp fra podkaster og direktesendinger, på bokmål og nynorsk. Fra NB Tale bruker vi den spontane delen av testsettet, med talere fra hele landet.
• Vi har ikke målt Fleurs selv.

Flere målinger, også for bakgrunnsprat, musikk og lange opptak, står på siden om Ekko. Hva NB-Whisper er og hvem som lagde den, står på NB-Whisper forklart.

Hvorfor dette betyr noe for norsk diktering

Mange tale-til-tekst-løsninger fungerer godt på engelsk, men svakere på norsk. For daglig diktering på norsk er forskjellen praktisk: jo færre feil, jo mindre opprydding etterpå.

Kviskr kombinerer NB-Whisper med en Mac-arbeidsflyt: hold hurtigtasten, snakk, slipp. Teksten havner rett i appen du bruker, og talegjenkjenningen kjører lokalt på maskinen. Appen er gratis i tidlig tilgang.

Vanlige spørsmål

Kilder

• Whispering in Norwegian: Navigating Orthographic and Dialectic Challenges
• NB-Whisper Large på Hugging Face
• NB-Whisper vs Apple Dictation for norsk