Sprekerherkenning uitgelegd: hoe AI weet wie wat zei

Sprekerherkenning is de AI-techniek die een opname niet alleen omzet in tekst, maar ook uitzoekt wie elke zin uitsprak. In vakjargon heet dit speaker diarization, oftewel het beantwoorden van de vraag "wie sprak wanneer?" [1]. De AI weet dat niet door je te kennen. Ze knipt het geluid eerst in stukjes op de plekken waar de ene stem overgaat in de andere (segmentatie), en groepeert daarna alle stukjes die op elkaar lijken (clustering) [3]. Elke groep krijgt een neutraal label: Spreker A, Spreker B, Spreker C. De AI hoort dus geen namen, maar verschillen in stemkenmerken — toonhoogte, klankkleur, spreekritme. Een mens (of het transcript zelf) plakt daarna de echte namen op de labels. Belangrijk: sprekerherkenning staat los van het uittypen van de woorden, het is een aparte stap die z'n eigen fouten maakt, zeker als mensen door elkaar praten. Daarom blijft elk verslag een concept tot een mens het heeft nagelopen. Hieronder lees je hoe de techniek precies werkt, hoe goed ze is, en waarom je stem juridisch een gevoelig gegeven is.

Wat sprekerherkenning is: "wie sprak wanneer?"

Een transcriptiemodel zoals Whisper levert een prima weergave van de woorden, maar met tijdstempels en zonder te vermelden wie aan het woord was [7]. Voor een gespreksverslag is dat de helft van het werk: in een intake, een oudergesprek of een MDO wil je juist weten of de cliënt iets zei of de behandelaar. Sprekerherkenning vult dat gat.

De officiële omschrijving is helder: sprekerherkenning (diarization) is "het opdelen van een audiostroom met menselijke spraak in homogene segmenten volgens de identiteit van elke spreker" — kortweg de vraag "wie sprak wanneer?" [3]. De term en de meetlat die de hele vakwereld nog gebruikt, komen uit de Rich Transcription-evaluaties die het Amerikaanse normeninstituut NIST tussen 2002 en 2009 uitvoerde; daar heette de taak letterlijk "Who Spoke When" [1]. Het is dus geen nieuwe hype, maar een decennialang onderzocht probleem.

Cruciaal: diarization geeft géén namen. Het scheidt stemmen en labelt ze als Spreker A, B en C. Wie A en B echt zijn, weet het systeem niet — dat vul je zelf in.

Hoe de AI het doet: van geluid naar stemkenmerken

Onder de motorkap gebeurt sprekerherkenning in twee samenwerkende stappen [3]:

1. Segmentatie. De AI zoekt de momenten waar de ene spreker stopt en de andere begint. Eerst wordt bepaald waar er überhaupt gesproken wordt en waar het stil is; daarna worden de spraakstukken opgeknipt op de wisselpunten tussen stemmen.
2. Clustering. Elk spraakstukje wordt vertaald naar een wiskundige vingerafdruk van de stem — een reeks getallen die klankkleur, toonhoogte en spreekstijl samenvat. Stukjes met een gelijkende vingerafdruk worden op één hoop gegooid. Elke hoop is één spreker.

Voor dat groeperen bestaan twee klassieke strategieën [3]. Bottom-up (de populairste) begint met veel kleine groepjes en voegt telkens de twee meest gelijkende samen, tot elke groep één unieke stem is. Top-down doet het omgekeerd: begin met alles op één hoop en splits net zolang tot het juiste aantal sprekers overblijft. Moderne systemen doen dit met neurale netwerken die op duizenden uren spraak zijn getraind, maar het idee — knippen en dan groeperen op stemgelijkenis — is in de kern hetzelfde gebleven [2].

De grote uitdaging zit in overlap: zodra twee mensen tegelijk praten, klinkt één stukje geluid als twee sprekers, en moet het systeem raden hoe het de tijd verdeelt. Ook korte tussenwerpsels ("ja", "hm", "precies") en veel wisselingen achter elkaar zijn lastig. Precies daar ontstaan de meeste fouten [2].

Drie dingen die vaak door elkaar lopen

"Sprekerherkenning" is een parapluwoord waar drie verschillende taken onder vallen. Ze uit elkaar houden is belangrijk, want ze verschillen sterk in wat ze van je gegevens vragen.

• Diarization (wie sprak wanneer). Scheidt en labelt stemmen binnen één opname, zónder vooraf iemand te kennen. Werkt zelfs op een opname van wildvreemden. Dit is wat een gespreksverslag nodig heeft [3].
• Sprekeridentificatie (wie is dit?). Vergelijkt een onbekende stem met een bibliotheek van opgeslagen stemprofielen om te bepalen welke bekende persoon het is — een 1-op-veel-vergelijking [5].
• Sprekerverificatie (ben jij het echt?). Controleert of een stem hoort bij één geclaimde identiteit — een 1-op-1-vergelijking, zoals bij inloggen met je stem [5].

Het verschil is niet academisch. Diarization hoeft van niemand een stemprofiel te bewaren: het groepeert alleen binnen dat ene gesprek en gooit de vingerafdrukken daarna weg. Identificatie en verificatie draaien juist óm het aanleggen van blijvende stemprofielen van met naam bekende personen — en dat heeft, zoals je verderop leest, stevige juridische gevolgen. Een verslagsysteem heeft aan diarization genoeg; het hoeft geen stemmenbank op te bouwen.

Hoe goed is het? De diarization error rate

Sprekerherkenning wordt gemeten met de diarization error rate (DER): het percentage van de gesprekstijd dat aan de verkeerde spreker is toegekend. De DER telt drie soorten fouten bij elkaar op — gemiste spraak, vals alarm (stilte of ruis die als spraak wordt aangezien) en sprekerverwarring (het juiste woord bij de verkeerde persoon) [2]. Deze maatstaf is geformaliseerd in de eerdergenoemde NIST-evaluaties en wordt nog altijd als standaard gebruikt [1].

Wat halen de beste systemen? Op de veelgebruikte VoxConverse-testset scoort het open-source model pyannote in 2026 een DER van 9,0% en concurrent Falcon 10,3% [4]. Commerciële diarization-modules die bovenop spraakherkenning worden geplakt, lopen sterk uiteen: van 11,1% (Amazon) tot 50,2% (Google) [4]. Anders gezegd: zelfs de koplopers zitten er in ongeveer één op de tien seconden naast, en bij rumoerige opnames met veel overlap loopt dat op. Er bestaat geen sprekerherkenning die foutloos is.

Daarom is de menselijke controle geen formaliteit maar de kern. Een AI die stemmen verwisselt of een half woord aan de verkeerde persoon toeschrijft, kan een verslag subtiel verdraaien — vergelijkbaar met hoe een taalmodel dingen kan verzinnen die niet gezegd zijn. Wie serieus met sprekerherkenning werkt, meet die kwaliteit bovendien vóór elke release met vaste testsets, in plaats van erop te vertrouwen; hoe je dat opzet, lees je in Eval-suites: hoe je AI-kwaliteit meetbaar maakt. De vuistregel blijft: de AI stelt voor wie wat zei, de mens beslist.

Je stem is een biometrisch gegeven

Er zit een privacykant aan sprekerherkenning die makkelijk over het hoofd wordt gezien. De Rijksoverheid rekent biometrische gegevens — "gegevens die voortkomen uit technische metingen van fysieke of gedragskenmerken, zoals gezichtsherkenning, vingerafdrukken of stemgeluid; met het oog op de unieke identificatie van een persoon" — tot de bijzondere categorie persoonsgegevens onder artikel 9 van de AVG [6]. Voor die categorie geldt een verwerkingsverbod: je mag ze in beginsel niet verwerken, tenzij een wettelijke uitzondering van toepassing is [6].

Let op de voorwaarde in die definitie: "met het oog op de unieke identificatie". Een blijvend stemprofiel aanleggen om iemand later te herkennen (identificatie of verificatie) is precies dat, en valt dus onder het strenge regime. Diarization die alleen binnen één gesprek stemmen scheidt en de vingerafdrukken daarna weggooit, mikt niet op het herkennen van een bekende persoon — een belangrijk verschil dat je in je verwerkingsregister en DPIA eerlijk moet beschrijven. Laat die afweging altijd toetsen door je functionaris gegevensbescherming; lokale verwerking maakt de DPIA-plicht niet ongedaan.

Waar het bij stemgegevens uiteindelijk om draait, is waar ze belanden. In de lokale opstelling van Verbinn blijven audio, transcript en stemkenmerken van het gesprek in het pand: alles draait op één Mac in eigen beheer (de Kern), en een mens keurt het concept goed voordat er iets geëxporteerd wordt. Zo blijft de gevoeligste variant van biometrie — je stem — binnen de eigen muren in plaats van op een server elders.