Eval-suites: hoe je AI-kwaliteit meetbaar maakt vóór elke release

Een eval-suite is een vaste verzameling testgevallen met bekende, goede antwoorden waar je elke nieuwe versie van je AI langs haalt vóórdat die live gaat. Je maakt kwaliteit meetbaar door voor elk testgeval te scoren of de uitkomst klopt, die scores samen te vatten in een paar harde cijfers — bijvoorbeeld woordfoutscore, hallucinatiepercentage en bewijsdekking — en aan die cijfers een drempel te koppelen die de versie móét halen om vrijgegeven te worden. Zakt de score onder de drempel, dan gaat de release niet door. Zo verandert "het verslag ziet er goed uit" in een controleerbaar getal dat je door de tijd heen kunt volgen. De gedachte is niet nieuw: toezichthouders en normkaders zoals het NIST AI Risk Management Framework en artikel 15 van de AI-verordening vragen expliciet om vooraf gemeten nauwkeurigheid en robuustheid met gedocumenteerde drempels [4][5]. In dit artikel lees je hoe een eval-suite is opgebouwd, welke metrieken tellen voor gespreksverslagen, en hoe je hem als poort voor elke release inzet.

Wat een eval-suite is — en waarom "het lijkt goed" niet volstaat

Een taalmodel produceert altijd vloeiende tekst. Dat is precies het probleem: vloeiend is niet hetzelfde als correct. De Autoriteit Persoonsgegevens verwoordt het scherp — generatieve AI is geoptimaliseerd voor plausibiliteit, niet voor nauwkeurigheid, en het verzinnen van onware output heet confabuleren of, bekender, hallucineren [1]. Een verslag kan er dus perfect uitzien en tóch dingen bevatten die nooit gezegd zijn. Op het oog beoordelen ("ziet er goed uit") is daarom een onbetrouwbare maatstaf: je ziet de fouten juist niet, omdat ze net zo overtuigend geschreven zijn als de rest.

Dat dit geen theoretisch risico is, blijkt uit onderzoek naar spraakherkenning. In de studie Careless Whisper (gepresenteerd op de ACM-conferentie FAccT, 2024) analyseerden onderzoekers ruim 13.000 audiofragmenten en vonden in ongeveer 1% van de transcripties volledig verzonnen zinnen; van die hallucinaties bevatte 38% expliciete schade, zoals verzonnen geweld of valse autoriteit [2]. Eén procent klinkt weinig, maar bij duizenden gesprekken per maand tikt dat aan. Een eval-suite bestaat om precies dat soort fouten zichtbaar en telbaar te maken, in plaats van erop te hopen dat een reviewer ze toevallig opmerkt.

Kort gezegd: een eval-suite vervangt het onderbuikgevoel door een herhaalbare meting die bij elke wijziging dezelfde vraag beantwoordt — is deze versie beter of slechter dan de vorige? — met een cijfer in plaats van een indruk.

De bouwstenen: goudset, metrieken en drempels

Elke serieuze eval-suite bestaat uit drie onderdelen die op elkaar ingrijpen.

1. Een goudset (golden set). Dit is een vaste verzameling realistische invoer — bij gespreksverslagen: echte of nagespeelde gesprekken — waarbij je vooraf hebt vastgelegd wat het juiste antwoord is. Dat "juiste antwoord" is de meetlat: een goedgekeurd referentieverslag, of een lijst met feiten die in het verslag hóren te staan. Zonder bekende goede antwoorden kun je niets scoren.
2. Metrieken. Dit zijn de getallen waarin je de kwaliteit uitdrukt: hoe dicht zit de uitkomst bij het goede antwoord? Voor tekst gebruik je bijvoorbeeld woordfoutscore, een hallucinatiepercentage (verzonnen feiten) en een omissiepercentage (weggelaten feiten).
3. Drempels. Per metriek leg je vast welk cijfer minimaal gehaald moet worden. Die drempel maakt de meting bindend: hij verandert een score in een go/no-go-besluit.

Deze aanpak sluit aan bij hoe normkaders naar AI kijken. Het NIST AI Risk Management Framework schaart testen onder de "Measure"-functie en koppelt die aan TEVV — testing, evaluation, verification and validation — waarbij meten vóór ingebruikname begint en gedurende de hele levensduur doorloopt [4]. De Europese AI-verordening gaat nog een stap verder: artikel 15 eist dat hoog-risico-AI een passend niveau van nauwkeurigheid en robuustheid haalt, mét gedocumenteerde metrieken en drempelwaarden die bij het beoogde doel passen [5]. Een eval-suite is in feite de praktische invulling van die eis: het is waar "passende nauwkeurigheid" een concreet, herhaalbaar getal wordt.

Een belangrijk detail: generieke benchmarks (denk aan brede kennistoetsen voor taalmodellen) zeggen weinig over jóuw taak. Ze meten algemene redeneervaardigheid, niet of een intakeverslag de juiste afspraken bevat. Daarom bouw je een taakspecifieke goudset uit echte gesprekken uit je eigen domein — dat is het verschil tussen een indrukwekkend rapportcijfer en een bruikbare kwaliteitsgarantie.

Welke metrieken tellen voor gespreksverslagen

Een gespreksverslag doorloopt twee AI-stappen — spraak naar tekst, en tekst naar verslag — en elke stap heeft zijn eigen meetpunten.

Bij de transcriptie is de klassieke metriek de woordfoutscore (WER, word error rate): het percentage woorden dat verkeerd, weggelaten of toegevoegd is ten opzichte van wat er echt gezegd werd. Ter referentie: het model whisper-large-v3-turbo haalt op een openbare ASR-benchmark een gemiddelde woordfoutscore van 7,83 [6]. Dat betekent grofweg een handvol afwijkende woorden per honderd — reden genoeg om het transcript nooit als eindproduct te behandelen.

Bij het verslag zijn twee metrieken cruciaal, omdat ze de twee manieren meten waarop een samenvatting de mist in gaat:

• Hallucinatiepercentage — hoeveel beweringen in het verslag staan die níét uit het gesprek volgen. Dit is de gevaarlijkste fout, want de tekst leest overtuigend.
• Omissiepercentage — hoeveel belangrijke feiten uit het gesprek ontbreken in het verslag. Een gemiste medicatie-afspraak is even schadelijk als een verzonnen afspraak.

Dat dit meetbaar is, laat medisch onderzoek zien: een studie in npj Digital Medicine (2025) presenteert een raamwerk om juist de klinische veiligheid en hallucinatie- én omissiegraad van taalmodellen bij het samenvatten van medische tekst systematisch te beoordelen [3]. Voor gespreksverslagen komt daar een vierde, praktische metriek bij: bewijsdekking — het aandeel zinnen in het verslag dat aantoonbaar terug te voeren is op een letterlijke bronregel in het transcript. Een hoge bewijsdekking is meteen een verdediging tegen hallucinaties: een zin die nergens in het transcript staat, valt op. Zulke controleerbaarheid begint bij een schone transcriptie, en juist eigennamen zijn daarin een zwakke plek — hoe je die borgt lees je in Een organisatie-woordenboek voor spraakherkenning: eigennamen altijd goed.

De eval-suite als poort vóór elke release

Een eval-suite die je één keer draait en dan vergeet, is een momentopname. De waarde ontstaat als hij een vaste poort wordt: elke keer dat je iets verandert — een nieuw taalmodel, een aangepast sjabloon, een andere instelling — draai je de hele suite opnieuw en vergelijk je de scores met de vorige versie. Dit heet in de praktijk regressietesten: je bewaakt dat een verbetering op één punt niet stiekem iets anders kapotmaakt.

Concreet ziet de poort er zo uit:

1. Je wijzigt iets aan het systeem.
2. De eval-suite draait automatisch over de volledige goudset.
3. De scores per metriek worden vergeleken met de drempels én met de vorige versie.
4. Haalt de nieuwe versie alle drempels en scoort hij niet slechter dan daarvoor, dan mag hij door. Zo niet, dan blokkeert de release.

Deze werkwijze past bij het uitgangspunt van het NIST-kader dat meten geen eenmalige controle is maar de hele levensduur doorloopt [4]. En het maakt kwaliteit uitlegbaar aan buitenstaanders: je kunt aan een functionaris gegevensbescherming, een auditor of een klant laten zien dat elke versie langs dezelfde meetlat is gegaan, met cijfers en een datum. Dat is precies het soort onderbouwde nauwkeurigheid dat de AI-verordening voor hoog-risicotoepassingen verlangt [5]. Bij lange gesprekken die niet in één keer in het model passen, moet je de eval bovendien uitbreiden naar de manier waarop je die opknipt en weer samenvoegt — daarover gaat Map-reduce voor lange gesprekken: samenvatten voorbij de contextlimiet.

Wat een eval-suite níét oplost

Een eval-suite maakt kwaliteit meetbaar, maar hij maakt AI niet foutloos — dat kan geen enkele techniek. Je goudset dekt de gevallen die je erin hebt gestopt; een gesprek met een onverwacht accent, jargon of een gespreksvorm die je nooit hebt getest, kan alsnog tegenvallen. De meting is zo goed als de voorbeelden erin, en die moet je blijven uitbreiden met echte gevallen uit de praktijk.

Daarom vervangt een eval-suite de menselijke controle niet; hij ondersteunt haar. De cijfers vertellen je hóé betrouwbaar het systeem gemiddeld is en waar het verschuift, maar het individuele verslag dat straks in een dossier belandt, blijft een concept tot een mens het heeft gelezen, tegen de bron gecontroleerd en goedgekeurd. De AP benadrukt niet voor niets dat je generatieve AI mag gebruiken, mits je vooraf de risico's in kaart brengt en controle houdt over je gegevens [1]. Een eval-suite is het gereedschap waarmee je dat "vooraf in kaart brengen" hard maakt — geen vervanging van het menselijke oordeel, maar het bewijs dat je de kwaliteit systematisch bewaakt. Meer over die menselijke poort lees je in Zo werkt Verbinn — van gesprek tot goedgekeurd verslag.

Hoe Verbinn dit in de praktijk doet

Verbinn draait bij elke wijziging een vaste eval-suite over representatieve gesprekstypen — intake, evaluatie, oudergesprek, MDO, begeleiding, SOAP en vrij — voordat een nieuwe versie wordt vrijgegeven, en zet de scores af tegen drempels, zodat een versie die op één sjabloon verbetert maar op een ander verslechtert niet ongemerkt doorglipt. De bewijsweergave — elke zin in het verslag klikbaar naar de letterlijke bronregel — maakt de bewijsdekking uit sectie 3 ook zichtbaar voor de gebruiker. Omdat elke stap volledig lokaal op de Kern draait, gebeurt ook het evalueren binnen het eigen pand, zonder dat testgesprekken de organisatie verlaten. De eval-suite bewaakt de gemiddelde kwaliteit; de verplichte menselijke goedkeuring bewaakt het individuele verslag. Die twee samen — meten én reviewen — vormen de kwaliteitsgarantie.