Pilot draaien met een AI-scribe: meetplan en slaagcriteria

Een goede pilot met een AI-scribe beantwoordt één vraag: levert dit ons aantoonbaar iets op, zonder dat de kwaliteit of de privacy eronder lijdt? Dat kun je alleen eerlijk beoordelen als je de slaagcriteria vóór de start vastlegt — anders praat je achteraf de uitkomst goed. Een werkbaar meetplan rust op vier meetsporen. Tijd: hoeveel sneller is een verslag klaar dan je nulmeting? Kwaliteit: hoeveel moet er na review nog worden aangepast? Adoptie: willen je mensen het houden? En veiligheid: gaat er echt geen gegeven naar buiten? Begin met een nulmeting, want zonder startwaarde kun je winst niet aantonen. Kies één team en één gesprekstype, draai minimaal vier tot acht weken, en spreek per meetspoor een concrete drempel af — bijvoorbeeld: minimaal tien minuten tijdwinst per verslag, een acceptabel correctiepercentage, en een meerderheid die door wil. Aan het eind zet je de cijfers naast die drempels en neem je een go/no-go besluit. Zo schaal je op op bewijs, niet op enthousiasme [1][3].

Wat een pilot moet bewijzen — en waarom criteria vooraf

Een pilot is een experiment met een uitkomst, geen zachte kennismaking. De vraag die je beantwoordt, is niet langer “werkt het?” maar “is het betrouwbaar genoeg en richt het de zorg beter in?” [3]. Dat verschil bepaalt hoe je meet. Grote pilots pakken dit gestructureerd aan: Cleveland Clinic testte vijf AI-scribe-systemen over ruim 80 specialismen en beoordeelde elk systeem op documentatiekwaliteit, productfuncties, tevredenheid van zorgverleners, implementatiegemak en rendement op investering [1]. In Nederland liet Radboudumc tien specialismen drie maanden lang een ambient-scribe evalueren op nauwkeurigheid en volledigheid, tijdwinst en gebruikerservaring [2]. Verschillende schaal, dezelfde logica: je benoemt vooraf de dimensies waarop je oordeelt.

De reden om slaagcriteria vóór de start vast te leggen is menselijk. Als je pas na afloop bedenkt wat “geslaagd” betekent, kleur je de lat naar wat je toevallig gemeten hebt. Spreek daarom met je team, je FG en zo nodig het bestuur af welke twee of drie uitkomsten de pilot moet halen om door te mogen. Zet die drempels op papier. Dan is het eindoordeel een toets, geen discussie.

De nulmeting: meet eerst, start dan

Zonder startwaarde is elke “tijdwinst” een gevoel. Meet daarom vóór je de scribe aanzet hoeveel tijd je pilotteam nu kwijt is aan verslaglegging voor het gekozen gesprekstype. Doe dat concreet: laat een handvol mensen een week bijhouden hoeveel minuten een intake, evaluatie of MDO-verslag ze na afloop kost. Die minuten zijn je nulmeting — het getal waar je straks alles tegen afzet.

Het is de moeite waard om dat getal te kennen, want de rek is groot. Zorgprofessionals besteden nog altijd een fors deel van hun tijd aan administratie, en het Integraal Zorgakkoord wil die administratietijd terugbrengen naar maximaal 20 procent per 2030 [6]. Een scribe die het concept voorbereidt, is precies zo'n instrument om die kant op te bewegen — maar alleen je nulmeting bewijst straks of het echt gebeurt.

De vier meetsporen: tijd, kwaliteit, adoptie, veiligheid

Meet niet alles, maar wel vier dingen die samen een eerlijk beeld geven. Elk meetspoor vangt een risico dat een pilot kan laten mislukken.

• Tijd. Hoeveel sneller is een verslag klaar dan je nulmeting? Verwacht hier geen uniform cijfer: in een praktijkcase leverde ambient listening bij lange, verhalende consulten tot een uur tijdwinst per dag op, terwijl het voordeel bij korte gesprekken beperkt bleef [5]. De winst hangt sterk af van het gesprekstype — reden te meer om je pilot op één type te richten en dáár de winst te meten.
• Kwaliteit. Tijdwinst zonder kwaliteit is geen winst. In een studie met gesimuleerde consulten bevatte 70 procent van de gegenereerde notities fouten, vaak doordat relevante informatie ontbrak — een fout die juist lastig te herkennen is [3]. Meet daarom het correctiepercentage: hoeveel moet een mens na review nog aanpassen? En zorg dat je fouten kúnt terugvinden. Als bronregels en audio tijdens de pilot bewaard blijven, kun je systematisch controleren; worden ze weggegooid, dan is onafhankelijke verificatie beperkt [3]. Een bewijsweergave die elke zin koppelt aan de letterlijke bronregel maakt dit reviewen een kwestie van seconden in plaats van het hele gesprek terugluisteren.
• Adoptie. Willen je mensen het houden? Een AI-scribe is uiteindelijk “geen technologie-spel maar een zorg-spel” — de betrokkenheid van gebruikers bepaalt of het beklijft [1]. Meet dit niet alleen met een enquête achteraf, maar met korte intervisie of meeloopbegeleiding tijdens de pilot, zoals succesvolle invoeringen laten zien [5]. Vraag simpelweg: zou je het missen als we het morgen uitzetten?
• Veiligheid. Bij een lokale opzet hoort één harde meting: gaat er geen gegeven naar buiten? Controleer het zelf in plaats van het op papier te geloven — open tijdens een testgesprek de netwerkinspectie en tel de externe verbindingen. Bij een echt lokale scribe is het antwoord nul, en dat getal is meteen de onderbouwing van je DPIA.

Slaagcriteria: concrete drempels vóór de start

Een meetspoor zonder drempel is een dashboard waar je naar kijkt zonder te beslissen. Vertaal daarom elk spoor naar een grens die je vooraf afspreekt. De exacte getallen bepaal je zelf, passend bij je situatie — het gaat erom dát ze er zijn. Een voorbeeldset:

• Tijd: gemiddeld minimaal X minuten sneller per verslag dan de nulmeting, gemeten over minstens twintig gesprekken.
• Kwaliteit: na review is het concept in ten hoogste Y procent van de gevallen substantieel aangepast, en er zijn geen onopgemerkte weglatingen gevonden in de steekproef.
• Adoptie: een meerderheid van het pilotteam wil door, en niemand ervaart het als een verslechtering van het patiëntcontact.
• Veiligheid: nul gemeten externe verbindingen tijdens gebruik, en een afgeronde of vergevorderde DPIA.

Leg naast deze drempels ook vast wanneer je stopt. Een “no-go” is geen mislukking maar een goedkope les: je hebt weken geïnvesteerd in plaats van een jaarcontract. Dat je vooraf durft te benoemen waarop je zou afhaken, houdt de pilot eerlijk.

Pilot-opzet: omvang, duur en één gesprekstype

Houd de pilot klein genoeg om te sturen en groot genoeg om iets te bewijzen. Grote centra werken met tientallen clinici per systeem over drie tot vijf maanden [1]; voor de meeste zorg- en welzijnsorganisaties is dat overdreven. Eén team, één gesprekstype en vier tot acht weken volstaan om een betrouwbaar signaal te krijgen. Die begrenzing is geen zwakte maar de kracht van de opzet: je hoeft je hele organisatie niet te veranderen om te weten of een scribe werkt.

Kies bewust wélk gesprekstype je test, want daar hangt de uitkomst van af. Lange, verhalende gesprekken laten de grootste winst zien; korte, sterk gestructureerde contacten minder [5]. Richt de sjabloon voor dat type goed in, vul het organisatie-woordenboek met je vaktermen zodat de transcriptie klopt, en zorg dat elk verslag een concept blijft dat een mens reviewt en goedkeurt voordat het de deur uit gaat. Dat laatste is geen detail: ook in grote pilots geldt dat een zorgverlener elke gegenereerde notitie volledig controleert en goedkeurt vóór ondertekening [1]. Wil je de volledige weekindeling rond deze pilot, dan staat die in het 30-dagen-implementatieplan.

Van meetresultaat naar go/no-go

Aan het eind beslis je op cijfers, niet op onderbuik. Zet de vier meetsporen naast hun drempels en beantwoord de vraag die je vooraf stelde: is het aantoonbaar sneller, na review goed genoeg, gewenst door de gebruikers en veilig? Reken het ook financieel door — wat kost het per medewerker tegenover de gewonnen uren? Kloppen de cijfers, dan schaal je op; kloppen ze niet, dan stop je zonder gezichtsverlies.

Onderschat het opschalen daarna niet. Onderzoek laat zien dat bijna de helft van de Nederlandse ziekenhuizen een AI-strategie heeft, maar dat slechts een klein deel van de toepassingen ook echt organisatiebreed wordt uitgerold [4]. Pilots stranden zelden op de techniek en meestal op onduidelijk eigenaarschap, versnipperde projecten en te weinig bestuurlijke aandacht [4]. Borg daarom vóór je opschaalt wie het traject blijft dragen en houd het onderwerp op de bestuurstafel. Hoe je daarna team voor team uitrolt zonder dat het in chaos verzandt, lees je in van pilot naar organisatiebreed. Zo eindigt je pilot niet met een gevoel, maar met een besluit dat je aan je bestuur, je FG en de toezichthouder kunt uitleggen.