# Norsk talegjenkjenning: metode og feilrate

> Ren tekst-versjon av https://kviskr.no/metode (sist oppdatert 11. oktober 2026)

Slik måler Kviskr norsk talegjenkjenning: NBs publiserte tall for NB-Whisper og våre egne målinger av Standard og Ekko på fem offentlige norske testsett.

## Kortversjon

NB-Whisper Large rapporteres med 2,2 % ordfeil (WER) på bokmål i NST-datasettet og
6,6 % på bokmål i Fleurs. Whisper Large-v3 rapporteres med 6,8 % og 10,4 % på
de samme datasettene. Kilde: NB-Whisper-paperet, https://arxiv.org/abs/2402.01917

## Resultatene vi viser til (Word Error Rate, lavere er bedre)

| Modell                             | NST bokmål | Fleurs bokmål | Kilde              |
| ---------------------------------- | ---------- | ------------- | ------------------ |
| NB-Whisper Large (modellbenchmark) | 2,2 %      | 6,6 %         | NB-Whisper-paperet |
| Whisper Large-v3                   | 6,8 %      | 10,4 %        | NB-Whisper-paperet |

## Hva Word Error Rate betyr

WER teller hvor mange ord som må legges til, fjernes eller byttes for at
transkripsjonen skal matche fasiten. 2,2 % WER betyr omtrent 22 feil per 1000
referanseord i testsettet, ikke at alle stemmer, dialekter og opptak alltid får samme
resultat.

## Hva som er målt

- NST består av norsk, opplest tale fra mange talere og gir et signal for bokmål under disse testforholdene.
- Fleurs er mer variert og gir et bredere bilde av robusthet.
- Tallene er modellresultater for NB-Whisper, ikke en garanti for hvert opptak i Kviskr.

## Hvilken modell Kviskr bruker

Standardmodellen i Kviskr er en komprimert versjon av NB-Whisper Large. Den fulle versjonen kan lastes ned som Maks kvalitet (3,1 GB), uten målt gevinst. Tallene over gjelder NB-Whisper Large. Fra versjon 0.7.0 kan du også laste ned Ekko (beta), Kviskrs egen modell trent videre fra NB-Whisper Large: https://kviskr.no/ekko

## Kviskrs egne målinger

Tallene over er Nasjonalbibliotekets. 2,2 % er deres resultat for den fulle NB-Whisper Large på
NST, ikke et tall Kviskr har målt. Vi har også målt selv, på fem offentlige norske testsett, og
sammenligner Standard (NB-Whisper Large slik den kjører i Kviskr) med Ekko, Kviskrs egen modell
trent videre fra den. Målt 11. oktober 2026. Per 100 ord i fasiten, lavere er bedre.

| Testsett | Utelatte ord, Standard | Utelatte ord, Ekko | Feil ord, Standard | Feil ord, Ekko |
| --- | --- | --- | --- | --- |
| NB Samtale: fri samtale (500 klipp, 64 talere) | 21,2 | 10,2 | 7,4 | 8,9 |
| NB Tale: spontan tale fra hele landet (302 klipp, 101 talere) | 4,5 | 1,8 | 6,5 | 5,8 |
| NorGovPCC: regjeringens pressekonferanser (200 klipp) | 17,6 | 5,0 | 5,7 | 6,5 |
| Tuva: opplest og fri tale (112 opptak, 40 talere) | 0,84 | 0,40 | 4,5 | 4,1 |
| NST: opplest diktering (760 setninger, 19 talere) | 0,06 | 0,03 | 2,7 | 1,5 |

Ekko er tydelig bedre på utelatte ord i NB Samtale, NB Tale, NorGovPCC og Tuva, og på feil ord i
NST. Ekko er tydelig dårligere på feil ord i NB Samtale og NorGovPCC. Resten kan være tilfeldig.

På NSTs 760 testsetninger målte vi 2,7 feil ord og 0,06 utelatte ord per 100 for Standard. Det kan
ikke sammenlignes direkte med NBs 2,2 %: oppsett, modellformat og skåring er ulike.

### Slik måler vi

- Begge modellene kjører i Kviskrs egen motor (whisper.cpp), i samme komprimerte format og med de
  samme innstillingene som appen bruker når du dikterer. Teksten går gjennom appens
  etterbehandling før den skåres.
- Utelatte ord og feil ord telles hver for seg, i stedet for ett samlet WER-tall. En modell kan få
  færre feil ord bare ved å skrive mindre.
- Feil ord er ord som er byttet ut eller lagt til. Skåringen er normnøytral: samme ord i en annen
  norm (nynorsk, dialekt eller bokmål) og forkortelser skrevet ut («for eksempel» mot «f.eks.»)
  teller ikke som feil. Nølelyder som «eh» tas bort på begge sider, og tegnsetting telles ikke.
- Stavede ord og tall med tusenskille skåres likt uansett skrivemåte. NSTs klipp med staving,
  store tall og sifferrekker er holdt utenfor, fordi fasiten der skriver tall med bokstaver.
- Usikkerhet: klippene trekkes på nytt 2 000 ganger (bootstrap), og forskjellen mellom modellene
  på de samme klippene vurderes med 95 % konfidensintervall.
- Talerne i testsettene er holdt utenfor Ekkos trening. Unntak: NorGovPCC, der Ekko er trent på
  andre klipp fra samme samling, så noen talere kan gå igjen. NB Samtale og Tuva er ikke brukt i
  treningen.
- Vi publiserer bare tall fra testsett andre kan hente, ikke fra egne opptak.

### Testsettene

- NB Samtale, NB Tale, NST og Tuva kommer fra Språkbanken i Nasjonalbiblioteket. NorGovPCC er en
  åpen samling av regjeringens pressekonferanser.
- NB Samtale: 500 klipp fra podkaster og direktesendinger, bokmål og nynorsk. NB Tale: den spontane
  delen av testsettet, talere fra hele landet.
- Fleurs har vi ikke målt selv.

Flere målinger (bakgrunnsprat, musikk, lange opptak): https://kviskr.no/ekko
Hva NB-Whisper er: https://kviskr.no/nb-whisper

## Kilder

- NB-Whisper-paperet: https://arxiv.org/abs/2402.01917
- NB-Whisper Large på Hugging Face: https://huggingface.co/NbAiLab/nb-whisper-large