Metode og kilder
Metode og kilder for norsk talegjenkjenning
Hva NB-Whisper-paperets 2,2 % og Kviskrs interne måling faktisk viser.
Sist oppdatert
Norsk vs engelsk-først-modeller
Resultatene vi viser til
| Modell | NST bokmål | Fleurs bokmål | Kilde |
|---|---|---|---|
| NB-Whisper Large (modellbenchmark) | 2,2 % WER | 6,6 % WER | NB-Whisper-paperet |
| Whisper Large-v3 | 6,8 % WER | 10,4 % WER | NB-Whisper-paperet |
Hva Word Error Rate betyr
Word Error Rate, ofte forkortet WER, er en vanlig målemetode for talegjenkjenning. Den teller hvor mange ord som må legges til, fjernes eller byttes for at transkripsjonen skal matche fasiten.
Lavere WER betyr færre feil. 2,2 % WER betyr omtrent 22 feil per 1000 referanseord i testsettet, ikke at alle stemmer, dialekter og opptak alltid får nøyaktig samme resultat.
Hva som er målt
- NST består av norsk, opplest tale fra mange talere og gir et signal for bokmål under disse testforholdene.
- Fleurs er et mer variert datasett og gir et bredere bilde av robusthet.
- Tallene er modellresultater for NB-Whisper, ikke en garanti for hvert enkelt opptak i Kviskr.
Vår egen måling: 3,5 % ordfeil for Ordrett
Andre steder på siten viser vi at Ordrett-modellen gjorde 3,5 % ordfeil i vår måling. Det tallet kommer ikke fra NB-Whisper-paperet, men fra vår egen rettebenk: et testsett med rundt 35 fasit-merkede diktater fra reell diktering, der hver transkripsjon sammenlignes ord for ord mot en manuelt korrigert fasit.
Vi beregnet Word Error Rate på samme type mål, men testgrunnlaget er ikke offentlig nok dokumentert til at målingen kan reproduseres uavhengig. Ordrett-modellen, som er bygget på NB-Whisper i verbatim-variant, endte på 3,5 % ordfeil på dette settet.
Forbeholdet er viktig: dette er en illustrativ intern måling på egen tale, egen mikrofon og reell diktering, ikke en offentlig benchmark. Tallet viser hva vi selv måler i daglig bruk, og kan ikke sammenlignes direkte med publiserte datasett-tall eller andre apper.
Hvorfor dette betyr noe for norsk diktering
Mange tale-til-tekst-løsninger fungerer godt på engelsk, men svakere på norsk. For daglig diktering på norsk er forskjellen praktisk: jo færre feil, jo mindre opprydding etterpå.
Kviskr kombinerer NB-Whisper med en Mac-arbeidsflyt: hold hurtigtasten, snakk, slipp. Teksten havner der markøren står, og talegjenkjenningen kjører lokalt på maskinen. Appen er gratis i tidlig tilgang.
Vanlige spørsmål
Kilder
- Whispering in Norwegian: Navigating Orthographic and Dialectic Challenges
- NB-Whisper Large på Hugging Face
- NB-Whisper vs Apple Dictation for norsk
Prøv tallene selv.
Gratis i tidlig tilgang. Ingen konto. Krever macOS 15.1 eller nyere og Apple Silicon.