Volledig lokale AI-verslaglegging: hoe werkt het technisch?

Bij volledig lokale AI-verslaglegging verlaat geen woord van het gesprek je pand: alle verwerking gebeurt op één computer die in je eigen gebouw staat. Technisch loopt het in een vaste keten. Tijdens een gesprek neemt een lichte app op een laptop of telefoon het geluid op. Dat geluid gaat over je eigen netwerk naar één krachtige Mac met Apple Silicon — in Verbinn heet die machine de Kern. Daar gebeurt alles. Eerst zet een lokaal spraakmodel (Whisper large-v3-turbo) de audio om in tekst [1]. Daarna maakt een lokaal taalmodel — dat via Apple's MLX rechtstreeks op die Mac draait [2] — van die tekst een gestructureerd concept, en beantwoordt het je vervolgvragen. Dat concept blijft een concept tot een mens het leest, corrigeert en goedkeurt; pas dan volgt de export. Er is geen cloud, geen externe API en geen server van een leverancier in de keten. Je kunt de machine desnoods van internet loskoppelen, en alles blijft werken.

Wat "volledig lokaal" precies betekent

"Lokaal" is een woord dat leveranciers graag rekbaar gebruiken. Het kan slaan op een app die op jouw laptop draait maar het rekenwerk naar de cloud stuurt, op "verwerking binnen de EU" op de servers van een ander, of op echt lokaal: alle berekeningen op hardware die jij bezit en beheert. Dit artikel gaat over die laatste betekenis — vaak on-premise genoemd — waarbij zowel de audio, de transcriptie als het geschreven verslag het gebouw nooit verlaten.

Het onderscheid is niet academisch. Bij online spraakherkenning wordt geluid naar externe servers gestuurd om verwerkt te worden; voor gevoelige gesprekken is dat precies het knelpunt dat organisaties willen vermijden [7]. Volledig lokaal betekent dat je die verzending simpelweg niet doet. Het harde bewijs daarvoor is meetbaar: je kunt op de netwerklaag controleren of er verbindingen naar buiten gaan. Als een lokaal systeem echt lokaal is, zie je tijdens het verwerken van een gesprek geen enkele uitgaande verbinding die gespreksinhoud draagt. Bij Verbinn wordt dat uitgaande dataverkeer (egress) bijgehouden en getoond: je ziet welke verbindingen er zijn, en geen daarvan draagt gespreksinhoud — dat is het verschil tussen een belofte en iets wat je kunt nalopen.

De prijs die je voor die zekerheid betaalt, is hardware. Iemand moet het rekenwerk doen, en als het niet de cloud is, dan is het een machine bij jou. De hele kunst van lokale AI-verslaglegging zit erin dat rekenwerk op één betaalbare computer te laten passen. Hoe dat kan, zie je verderop.

De keten in vijf stappen

Een lokaal gespreksverslag ontstaat in een vaste volgorde. Elke stap heeft een technische taak, en elke stap gebeurt binnen je eigen netwerk.

1. Opname. Een lichte app (macOS of Windows) of een web-UI op het eigen netwerk vangt het geluid van het gesprek op. Vóór de opname zet iedereen een toestemmingsvink; die toestemming wordt vastgelegd.
2. Transport. De audio gaat over je lokale netwerk naar de centrale Mac — de Kern. Dit is geen internetverbinding; het verkeer blijft binnen de muren van je organisatie.
3. Transcriptie. Op de Kern zet een lokaal spraakmodel (Whisper large-v3-turbo) de audio woord voor woord om in tekst, met een tijdstempel per zin [1].
4. Verslag. Een lokaal taalmodel leest die tekst en schrijft er een gestructureerd concept van, volgens het sjabloon dat bij het gesprekstype hoort — een intake, een evaluatie, een MDO, een SOAP-rapportage. Datzelfde model beantwoordt ook je vervolgvragen in een chat.
5. Review en export. Een mens leest het concept, corrigeert het en keurt het goed. Zonder die goedkeuring is er geen export — dat is technisch afgedwongen, niet slechts beleid.

Deze route wil je stap voor stap zien, met alle waarborgen erbij? Die staat uitgeschreven in AI-gespreksverslag in de zorg: van opname tot dossier, stap voor stap. Hieronder pakken we de twee zwaarste schakels uit: transcriptie en het schrijven van het verslag.

Van spraak naar tekst: lokale transcriptie met Whisper

De eerste zware taak is automatische spraakherkenning: van een geluidsgolf de exacte woorden maken. Het model dat dat doet, is Whisper — een open-source spraakherkenningsmodel dat getraind is op honderdduizenden uren meertalige spraak, waardoor het robuust is tegen accenten, achtergrondgeluid en vaktaal [6]. Whisper is een zogeheten encoder-decoder-model: het ene deel luistert naar de audio, het andere deel schrijft de woorden op.

De specifieke variant die geschikt is voor lokaal werk heet large-v3-turbo. Dat is een afgeslankte versie van het grote Whisper large-v3-model: het schrijvende deel (de decoder) is teruggebracht van 32 lagen naar 4, waardoor het aantal parameters daalt van 1,55 miljard naar 809 miljoen [1]. Het gevolg is dat het model fors sneller transcribeert, met slechts een klein kwaliteitsverlies, terwijl het nog steeds 99 talen aankan [1]. Het is uitgebracht onder de MIT-licentie — vrij te gebruiken en te controleren — en het draait volledig op je eigen apparaat, zonder API-sleutel of internetverbinding [1].

Dat "op je eigen apparaat" is precies waarom deze variant de standaard is voor privacygevoelige verslaglegging. Een spraakmodel dat de audio naar een externe dienst stuurt om te transcriberen, is per definitie niet lokaal. Whisper large-v3-turbo doet het rekenwerk op de Mac zelf: de audio komt binnen, de tekst komt eruit, en er gaat niets van het gesprek de deur uit. Elke zin krijgt bovendien een tijdstempel, zodat je later exact kunt terugvinden waar in de opname een uitspraak vandaan komt — de basis voor de bewijsweergave verderop.

Wil je transcriptie afzetten tegen dicteren en andere manieren van spraakgestuurd werken? Dat overzicht staat in Spraakgestuurd rapporteren in de zorg: alle opties op een rij.

Van tekst naar verslag: een taalmodel op één Mac

Transcriptie levert een letterlijk uitgeschreven gesprek op — nuttig, maar geen verslag. De tweede zware taak is dat ruwe transcript omzetten in een leesbaar, gestructureerd concept: de kern eruit halen, ordenen volgens een sjabloon, en de losse taal van een gesprek vertalen naar nette verslagtaal. Dat is werk voor een taalmodel, hetzelfde type AI dat achter chatbots zit — alleen dan lokaal.

Hier zat tot voor kort de bottleneck. Een taalmodel lokaal draaien vroeg vroeger om serverhardware met dure grafische kaarten, wat voor een normale organisatie geen realistische investering is. Wat dat veranderde, is de combinatie van Apple Silicon en MLX. MLX is Apple's open-source bibliotheek om AI-modellen rechtstreeks op een Mac te draaien; door de unified memory-architectuur van die chips bepaalt de totale hoeveelheid geheugen van de Mac hoe groot een model mag zijn, in plaats van het losse geheugen van een grafische kaart [2][3]. Eén Mac die je in de winkel koopt, doet zo het werk waar je vroeger een serverkast voor nodig had — en onderzoek laat zien dat lokale taalmodel-verwerking op Apple Silicon inmiddels productiewaardige snelheden haalt [8]. Hoe dat technisch precies zit, staat in Wat is MLX en waarom maakt Apple Silicon lokale AI betaalbaar?.

Voor het verslag betekent dit dat het taalmodel op dezelfde Kern draait als de transcriptie. Het krijgt het transcript binnen, het gekozen sjabloon en eventueel het organisatie-woordenboek (zodat namen, functies en vakjargon correct gespeld worden), en het schrijft het concept. Diezelfde motor voedt de chat: je kunt vervolgvragen stellen over het gesprek — "wat is afgesproken over de medicatie?" — en het model antwoordt op basis van het transcript, zonder dat er iets naar buiten gaat.

Belangrijk detail: omdat het taalmodel lokaal draait, kan het ook met langere gesprekken uit de voeten via een aanpak waarbij het transcript in stukken wordt gelezen en samengevoegd. En omdat elke gegenereerde zin terug te koppelen is aan de brontekst, kun je in het concept op een zin klikken en de letterlijke bronregel uit het transcript zien staan. Die bewijsweergave is wat lokale AI-verslaglegging controleerbaar maakt — daarover zo meer.

Waarom je dit lokaal zou willen: de privacy-rekensom

Techniek is geen doel op zich. De reden om deze hele keten lokaal te bouwen, is dat een gespreksverslag in de zorg of het recht vol staat met bijzondere en vertrouwelijke persoonsgegevens. Zodra je die door een externe dienst laat verwerken, breidt de kring van partijen die er technisch bij kunnen uit — en dat is precies wat lokaal draaien uitsluit.

De wet dwingt dit denken af. De Autoriteit Persoonsgegevens benadrukt dat de AVG techniekneutraal is: dezelfde regels gelden voor AI als voor elke andere verwerking van persoonsgegevens, ongeacht de technische manier waarop dat gebeurt [4]. Twee beginselen uit artikel 5 van de AVG zijn hier direct van toepassing. Dataminimalisatie: je mag niet meer persoonsgegevens verwerken dan strikt noodzakelijk voor het doel [5]. En opslagbeperking: je bewaart gegevens niet langer dan nodig [5]. Een lokale opzet maakt beide beginselen concreet — de audio kan na goedkeuring van het verslag gewist worden, omdat het transcript en het goedgekeurde verslag het doel al dienen.

Let op de grens van wat lokaal draaien voor je regelt. Het maakt naleving van de AVG makkelijker aantoonbaar, maar het heft geen verplichtingen op. De DPIA — de verplichte risicoanalyse vooraf bij dit soort verwerkingen — blijf je gewoon doen; lokaal verwerken is een sterke maatregel binnen die analyse, geen ontsnapping eraan [4]. En veilige AI in de zorg vraagt naast techniek ook om governance en heldere afspraken over privacy [7]. Lokaal draaien lost het datastroom-probleem op; het beleid eromheen moet je zelf blijven voeren.

Wat lokaal draaien niet oplost

Er is een valkuil die je moet kennen: lokaal draaien bepaalt waar de AI rekent, niet of de uitkomst klopt. Een taalmodel kan formuleringen produceren die plausibel klinken maar niet in het gesprek stonden. Dat risico verdwijnt niet doordat het model in jouw pand staat — het is een eigenschap van hoe taalmodellen werken, en het geldt lokaal net zo goed als in de cloud.

Daarom is de menselijke schakel geen bijzaak maar de kern van het ontwerp. Elk verslag is een concept tot een mens het controleert en goedkeurt; zonder review geen export, technisch afgedwongen. De bewijsweergave maakt dat controleren snel en eerlijk: elke zin in het concept is klikbaar naar de letterlijke bronregel in het transcript, zodat de reviewer per zin ziet of er dekking is in wat er echt gezegd is. Wat mensen corrigeren, kan bovendien in een append-only auditlog worden vastgelegd — een logboek waaraan alleen toegevoegd wordt en waarin niets stiekem verandert.

De eerlijke samenvatting is dus tweeledig. Lokaal draaien lost het privacyprobleem op: geen woord van het gesprek verlaat je organisatie. De menselijke eindredactie lost het kwaliteitsprobleem op: geen verslag de deur uit dat een mens niet heeft goedgekeurd. Geen van beide belooft foutloosheid — samen leveren ze iets waardevollers op: controleerbaarheid. Je kunt op elk moment laten zien waar een verslag vandaan komt, wie het goedkeurde, en dat er geen gespreksinhoud naar buiten is gegaan.