Hoe goed is spraakherkenning op een Mac Mini? Wat publieke Whisper-benchmarks laten zien

Kort antwoord: goed genoeg om je veel typewerk te besparen, niet goed genoeg om blind op te vertrouwen. Het meest gebruikte open spraakherkenningsmodel, Whisper, haalt op de openbare Open ASR Leaderboard een gemiddelde woordfoutscore (WER) van 7,83 met de large-v3-turbo-variant — grofweg zeven à acht fouten per honderd woorden onder gunstige omstandigheden [2]. Zo'n model draait prima op een moderne Mac Mini: in de standaard-benchmark van whisper.cpp verwerkt zelfs een oude Mac Mini M1 de rekenzware stap van het grootste model in ongeveer acht seconden per fragment, en nieuwere Apple Silicon-chips zijn flink sneller [4]. Maar benchmarks vertellen niet het hele verhaal. Nederlands onderzoek laat zien dat dezelfde technologie op lastige spraak — kinderen, niet-moedertaalsprekers, ouderen — zonder bijsturing tussen de 26% en 42% WER kan zitten [3]. De les: een Mac Mini transcribeert Nederlandse gesprekken netjes bij helder geluid, worstelt bij moeilijke audio, en daarom blijft elk transcript een concept tot een mens het heeft gecontroleerd.

Wat "goed" betekent: de WER-benchmark uitgelegd

Voordat je benchmarks kunt lezen, moet je één getal begrijpen: de woordfoutscore, in het Engels word error rate of WER. Die telt hoeveel woorden een transcriptie fout heeft ten opzichte van wat er echt gezegd is — invoegingen, weglatingen en vervangingen samen — gedeeld door het totale aantal woorden. Een WER van 8% betekent dus grofweg acht "misslagen" per honderd woorden. Lager is beter; 0% zou een perfect transcript zijn.

Twee dingen zijn belangrijk. Ten eerste is WER altijd gemeten op een specifieke dataset onder specifieke omstandigheden — heldere studio-opnames scoren heel anders dan een rommelig gesprek met achtergrondgeluid. Ten tweede telt WER elke afwijking even zwaar, ook een onschuldige als "'t" versus "het". Daardoor zegt de score niets over wélke fouten je krijgt. Een benchmark is dus een startpunt, geen garantie.

Wat publieke benchmarks zeggen over Whisper's nauwkeurigheid

Whisper is een open spraakherkenningsmodel dat in 2022 door OpenAI werd gepubliceerd, getraind op 680.000 uur audio via een methode die "zwakke supervisie" heet [1]. Het is vrij te downloaden onder een MIT-licentie en ondersteunt 99 talen, waaronder Nederlands [2]. Omdat je het volledig zelf kunt hosten, hoeft er geen audio naar buiten — je draait het gewoon op je eigen machine.

De variant die de beste balans tussen snelheid en kwaliteit geeft, is large-v3-turbo. Dat is een afgeslankte versie van het grote large-v3-model: het aantal decodeerlagen is teruggebracht van 32 naar 4 en het aantal parameters van 1,55 miljard naar 809 miljoen, wat het model "veel sneller" maakt met slechts een kleine kwaliteitsafname [2]. Op de openbare Open ASR Leaderboard haalt turbo een gemiddelde WER van 7,83 [2]. Dat is het cijfer dat je overal terugziet als "Whisper is ongeveer 92% nauwkeurig" — maar let op: dat gemiddelde leunt zwaar op Engelstalige testsets en op relatief nette audio. Het is een bovengrens van wat je onder goede omstandigheden mag verwachten, geen belofte voor elk gesprek.

Hoe goed is Whisper specifiek in het Nederlands?

Nederlands is een goed bedeelde taal: er is veel trainingsmateriaal, dus Whisper presteert er relatief sterk. Maar "relatief sterk" verbergt grote verschillen per sprekersgroep. Het meest concrete Nederlandstalige onderzoek komt van taalwetenschappers van de Universiteit van Amsterdam, die Whisper testten op het JASMIN-CGN-corpus — een verzameling Nederlandse spraak van juist de lastigere groepen [3].

Hun cijfers zijn ontnuchterend. Zónder enige bijsturing (zogeheten zero-shot) haalde Whisper large-v2 de volgende woordfoutscores [3]:

• Moedertaalsprekende kinderen: 26,12% WER
• Niet-moedertaalsprekende kinderen: 38,48% WER
• Niet-moedertaalsprekende volwassenen: 42,07% WER
• Moedertaalsprekende ouderen: 28,73% WER

Bij vier op de tien woorden fout is een transcript nauwelijks bruikbaar. Het goede nieuws: door het model bij te trainen op deze groepen daalde de foutscore fors — een relatieve verbetering tot 81% voor moedertaalsprekende kinderen en 65% tot 72% voor de andere groepen [3]. Dat laat twee dingen zien. Ten eerste dat een kaal benchmarkgemiddelde je kan misleiden als jouw sprekers afwijken van de "gemiddelde" stem. Ten tweede dat spraakherkenning geen vaste eigenschap is maar iets dat je kunt verbeteren voor jouw context. Wie precies wil weten hoe Nederlandse modellen zich onderling verhouden, kan terecht bij de community-benchmark Dutch Open Speech Recognition Benchmark, die resultaten van verschillende Nederlandse ASR-modellen verzamelt [6].

Draait dat wel snel genoeg op een Mac Mini?

Nauwkeurigheid is één ding; of het model comfortabel op een Mac Mini draait, is een tweede. Hier zijn publieke cijfers eenduidig positief. De standaard-benchmarkdraad van whisper.cpp — de veelgebruikte C++-uitvoering van Whisper — bevat door de gemeenschap ingestuurde metingen per chip [4]. Voor de rekenzware encode-stap (het zwaarste deel van de transcriptie) op een Mac Mini M1 uit 2020 staat er onder meer [4]:

• Groot model (large): ± 7,98 seconden per fragment
• Medium model: ± 3,98 seconden
• Klein model (small): ± 1,25 seconden
• Base model: ± 0,38 seconden
• Tiny model: ± 0,19 seconden

Dit zijn cijfers van de eerste generatie Apple Silicon; latere chips (M2, M3, M4) zijn merkbaar sneller, en de snellere turbo-variant scheelt daar bovenop nog eens flink. Twee versnellers helpen daarbij: op Apple Silicon draait de berekening volledig op de GPU via Metal, en via Core ML kan het zwaarste onderdeel op de Neural Engine draaien, wat volgens het project meer dan drie keer sneller is dan alleen op de processor [5]. Kortom: een moderne Mac Mini transcribeert een gesprek ruim sneller dan realtime, zodat een verslag klaarstaat kort nadat het gesprek is afgelopen. Waarom één zo'n machine genoeg is voor een heel team, lees je in Waarom een Mac Mini genoeg is voor een hele zorgorganisatie.

Waarom een benchmarkscore niet je hele antwoord is

Een benchmark meet één model op één nette testset. Jouw werkelijkheid is anders, en dat verklaart bijna alle teleurstellingen. De grootste factoren die je score omlaag trekken zijn de opnamekwaliteit (een goede microfoon versus een laptop op afstand), doorpraten en achtergrondgeluid, accenten en dialect, en vakjargon of eigennamen die het model nooit gezien heeft. De JASMIN-cijfers uit sectie 3 zijn precies daarvan een voorbeeld: dezelfde technologie die 8% haalt op schone audio, kan 40% halen op moeilijke spraak [2][3].

Er is ook een subtieler risico dan gewone tikfouten. Spraakherkenningsmodellen kunnen "hallucineren": vloeiend klinkende tekst produceren die niet is gezegd, vooral bij stiltes of onverstaanbare stukken. Een WER-getal vangt dat maar deels. Dit is de fundamentele reden om een transcript nooit ongelezen naar een dossier te sturen: de uitkomst is een voorstel dat een mens moet controleren. Meer over die rolverdeling lees je in Human in the loop: waarom een mens elk AI-verslag moet goedkeuren.

Wat dit betekent voor gespreksverslagen in de praktijk

Vertaal je de benchmarks naar de dagelijkse praktijk, dan volgen drie nuchtere conclusies. Ten eerste: een Mac Mini heeft ruim genoeg rekenkracht om Nederlandse gesprekken lokaal en snel te transcriberen, zonder dat er audio het pand verlaat. Ten tweede: de nauwkeurigheid neemt het grootste deel van het typewerk uit handen, maar is niet zó goed dat je de controle kunt overslaan. Ten derde: hoe verder jouw sprekers en jargon van "gemiddelde" spraak af staan, hoe belangrijker het wordt om het systeem te helpen én na te lezen.

Goede lokale systemen zijn daar op ontworpen. In de opstelling van Verbinn draait de transcriptie met Whisper large-v3-turbo op één Mac in je eigen pand (de Kern), verscherpt een organisatie-woordenboek de herkenning van namen en vakjargon, en is elk verslag een concept tot een mens het heeft gereviewd en goedgekeurd — met elke zin klikbaar terug naar de letterlijke bronregel, zodat controleren snel gaat. De belofte is niet foutloosheid, maar controleerbaarheid: je ziet zwart-op-wit waar een zin vandaan komt.