AI-spraakinfrastructuur in 2026: wat echt werkt

Als je in 2026 iets bouwt dat menselijke spraak verwerkt (podcasts, gesprekken, video, toegankelijkheid, taalverwerving, automatisering), bouw je bovenop een gelaagde stack van spraakinfrastructuur. De onderdelen worden steeds capabeler, steeds vaker als API beschikbaar, en steeds vaker onderhevig aan marketingbeloftes die het contact met productie niet overleven.

Dit is de kaart van de werkende engineer over waar spraakinfrastructuur werkelijk staat. Hij definieert de lagen, benoemt wat werkt, benoemt wat niet werkt, en wijst aan waar het volgende echte werk moet gebeuren. Het is het tweede van de pijlerstukken van AudioLab.tools, in navolging van Wat is audio-AI?, en het is het hoeksteendocument voor VoiceLab.

De zeven lagen

De spraakstack opgesplitst in de delen die er echt toe doen:

1. Opname: microfoons, kamerakoestiek, A/D-conversie, formaatkeuze.
2. Opschoning: ruisreductie, dereverb, AGC, normalisatie.
3. Herkenning (ASR): spraak → tekst, met timing, betrouwbaarheid, optionele diarisatie.
4. Begrip (NLU): intentie, sentiment, entiteitsextractie, samenvatting.
5. Synthese (TTS): tekst → spraak met regelbare expressie.
6. Conversie: spraak-naar-spraak-transformatie, inclusief nasynchronisatie en identiteitsbehoud.
7. Distributie: verspreiding, routering, realtime vs. offline, toegankelijkheid zichtbaar maken.

Dit stuk behandelt lagen 2–7. (Laag 1, opname, verdient een eigen toegewijd stuk; dat volgt nog.) Elke laag hieronder draait vandaag in productie; de gaten zitten vooral in hoe ze samenkomen, niet in hun individuele capaciteit.

Laag 2: Opschoning

De saaie laag die stilletjes alles wat erop volgt laat werken.

Wat draait in 2026

• Neurale ruisreductie van RNNoise-klasse: elke grote videobel-app (Zoom, Meet, Teams, Slack, FaceTime) zet het standaard aan. Krisp en concurrenten bieden het als SDK voor externe apps.
• Studio-grade dereverb: iZotope RX, Acon Digital DeVerberate, diverse Adobe-tools. Productieklaar voor podcast- en broadcast-post.
• AGC en loudness-normalisatie: naleving van ITU-R BS.1770-4 en EBU R128, voor ASR geoptimaliseerde voorbewerking, podcast-platforms (Spotify, Apple) die het automatisch afhandelen bij ingest.
• Echo-onderdrukking: opgelost op de conferencing-laag. De AEC van WebRTC is goed genoeg voor de meeste gebruikssituaties.

Wat nog tekortschiet

• Realtime studio-grade dereverb. Dereverb van RX-kwaliteit draait op de meeste hardware trager dan realtime. Realtime-varianten bestaan (RX Voice De-noise, Waves RVerb), maar de afwegingen zijn reëel.
• Cross-language ruisreductie. De meeste RNNoise-varianten zijn afgestemd op Engelse spraak. De prestaties op toontalen of fluisterstille stemmen zakken meetbaar.
• Consistentie van dereverb bij lange duur. Een podcast van 90 minuten waarin de kamertoon halverwege verschuift, is nog steeds lastig. De meeste tools gaan ervan uit dat de impulsrespons stationair is.

Wat wij bouwden

VoiceLab QA doet geen opschoning. Het meet de aanwijzingen dat opschoning nodig is (SNR, ruisvloer, afval van kamerecho, sissrisico) en vertelt je wat je moet repareren en waar. De opschoningstools zijn commodity’s; de QA-laag was dat niet, tot voor kort.

Laag 3: Herkenning (ASR)

De laag die tussen 2022 en 2025 werd herschreven en zich nog steeds aan het zetten is.

Wat draait in 2026

• Cloud-ASR: OpenAI Whisper API, Deepgram, AssemblyAI, AWS Transcribe, Google STT. Nauwkeurigheid in de hoge 90% op schoon Engels; midden-80% tot hoge 80% op de meeste grote talen; loopt terug op niche-dialecten.
• On-device ASR: Whisper.cpp, MLX-gebaseerde Whisper op Apple Silicon, Androids on-device Live Caption (een van Whisper afgeleid model). Productiekwaliteit, geen netwerk-round-trip.
• Realtime streaming-ASR: Deepgram Nova-3, Google STT streaming, Speechmatics. Sub-300ms latentie tot het eerste woord, 95%+ nauwkeurigheid op broadcast-kwaliteit audio.
• Diarisatie: pyannote.audio in onderzoek; gebundeld in Deepgram, AssemblyAI. Betrouwbaar bij 2–3 sprekers met gescheiden microfoons; gaat snel achteruit bij overlap.
• Timing op woordniveau: elke moderne ASR-provider levert tijdstempels per woord, geschikt voor het synchroniseren van ondertitels.

Wat nog tekortschiet

• Long-tail-talen. Talen uit de middencategorie (Catalaans, Vietnamees, Tagalog) lopen 8–15% nauwkeurigheid achter op Engels bij typisch materiaal.
• Cross-channel-diarisatie. Een enkel monobestand met meerdere microfoons op afstand is nog steeds een lastig probleem. Modellen van pyannote-klasse doen het, maar de nauwkeurigheid zakt naar de 70%.
• Code-switching: wanneer sprekers midden in een zin van taal wisselen, stort de nauwkeurigheid in. Meertalige ASR bestaat (Whisper-large), maar loopt via detectie die midden in een uiting kan omslaan en het spoor bijster raakt.
• Fluisteren / stille spraak: voorbewerking vereist. Productietools handelen dit af; ruwe ASR-API’s minder.
• Vocabulaire-adaptatie: domeinspecifieke termen (medisch, juridisch, technisch) vereisen aangepaste taalmodellen of nacorrectie. Sommige providers bieden hotwords; de meeste bieden geen fine-tuning van het vocabulaire.

Wat wij bouwden

VoiceLab QA signaleert tempo, fillerdichtheid, clipping, kamerecho: signaalniveau-metrieken die ASR aanvullen. ASR voor de woorden; VoiceLab voor de kwaliteit waarmee die woorden worden opgenomen.

Laag 4: Begrip (NLU)

Aangrenzend aan spraak, maar een korte vermelding waard omdat de grens vervaagt.

Wat draait in 2026

• Intentieclassificatie: gedekt door algemene LLM’s (GPT-4-klasse, Claude, Gemini). Gespecialiseerde, op IVR gerichte intentieproviders (Dialogflow, Lex) bestaan nog steeds, maar de algemene LLM-route dekt het meeste af.
• Sentiment + emotie: Voiseed, Hume, systemen van Suno-klasse doen “vocale emotie”-detectie. De nauwkeurigheid is matig; de categorie is overgemarket.
• Sprekeridentificatie (herkenning vs. diarisatie): biometrische speaker-ID bestaat (Pindrop, Phonexia). Onderscheiden van diarisatie; minder een alledaags hulpmiddel.
• Samenvatting + onderwerp-extractie: elke transcriptieprovider levert nu een samenvattingsendpoint. De kwaliteit is goed voor materiaal van 30 minuten, loopt terug bij een uur of meer.

Wat nog tekortschiet

• Begrip over meerdere beurten: lange gesprekken waarin context over uren heen telt. RAG over het transcript helpt, maar is erbij geschroefd, niet native.
• Culturele / contextuele nuance: sarcasme, regionale idiomen, code-switched humor. Niet opgelost; niet op een roadmap voor de nabije termijn.

Laag 5: Synthese (TTS)

De laag die het meest zichtbaar is voor gebruikers en het sterkst beïnvloed door de “AI-hype”-golf.

Wat draait in 2026

• High-fidelity neurale TTS: ElevenLabs, Play.ht, van Suno afgeleid, Cartesia, Resemble, Google Studio Voice, Azure Neural TTS. De kwaliteit in de topklasse is voor de meeste luisteraars niet te onderscheiden van professionele voiceover.
• Voice cloning met expliciete toestemming (ElevenLabs Pro, Resemble, Cartesia). Vijf seconden bronaudio is genoeg voor een bruikbare kloon; de kwaliteit schaalt mee met de lengte van het sample.
• Meertalige cross-tongue-synthese: spraak synthetiseren in een taal die de spreker zelf niet spreekt. De kwaliteit is goed voor grote taalparen.
• Stijl- + emotiecontrole: schuifregelaars voor opwinding, kalmte, narratieve boog. De kwaliteit varieert; ElevenLabs is momenteel koploper.
• Realtime TTS: sub-200ms latentie voor korte uitingen. Gebruikt in spraakassistenten, realtime nasynchronisatie, interactieve media.

Wat nog tekortschiet

• Vertolking. Synthetische stemmen landen op “goede omroeper”. Ze landen niet op “geweldige acteur”. De laatste 15% expressieve nuance ontbreekt grotendeels.
• Consistentie bij lange duur: stemmen driften over een synthese van 30 minuten. Elk fragment van 60 seconden klinkt geweldig; aan elkaar geregen breekt de prosodie.
• Fluisteren, ademigheid, intimiteit: vocale texturen met veel detail zijn wisselvallig.
• Zang: Suno en vergelijkbare systemen bestaan, maar de kwaliteit op a-capellazang is geplateaud; met instrumentale begeleiding is het veel beter.

Ethiek en juridisch

De grootste productieblokkade van allemaal. Voice cloning zonder expliciete toestemming is in meerdere rechtsgebieden als vervolgbaar bestempeld. Productieproviders (ElevenLabs Enterprise, Cartesia) vereisen nu:

• Expliciete toestemmingsvastlegging van de bronstem.
• Audit-logs van wie welke stem wanneer heeft gesynthetiseerd.
• Watermerken of markeringen voor inhoudsauthenticiteit.
• Regio-specifieke naleving van wetten voor biometrische gegevens.

Spraaksynthese in een product bouwen zonder deze is geen pure engineeringkeuze meer, het is een juridische.

Laag 6: Conversie

Spraak-naar-spraak-transformatie. De nieuwste en snelst bewegende laag.

Wat draait in 2026

• Realtime spraakconversie: Coqui xtts en opvolgers, ElevenLabs voice changer, de realtime-API van Resemble. Zet je stem om naar een doelstem met sub-200ms latentie.
• Nasynchronisatie-pipelines: synchroniseer spraakvertaling terwijl de identiteit van de bronspreker behouden blijft. ElevenLabs Dubbing, HeyGen, Synthesia. De kwaliteit is goed voor talking-head-video; lipsync blijft de zwakste schakel.
• Singing voice conversion (SVC): RVC en opvolgers. Breed gebruikt, maar meestal buiten juridische productiecontexten.

Wat nog tekortschiet

• Behoud van mondbeweging: lipsync van nasynchronisatie-kwaliteit vereist videozijdige verwerking naast de spraak; geïntegreerde systemen (Wav2Lip, Sync.ai) verbeteren snel, maar leveren bij close-ups nog steeds griezelig resultaat.
• Behoud van prosodie over talen heen: Engels naar Mandarijn vertalen en het ritme van de spreker behouden is lastig. De categorie verbetert, maar is nog niet op “niet te onderscheiden van een moedertaalspreker”.
• Studio-grade stemvervanging: voor film- en broadcast-postproductie is met de hand afgestemde stemvervanging nog steeds de norm. AI-ondersteund, niet AI-gedreven.

Laag 7: Distributie

Hoe de stem de luisteraar bereikt.

Wat draait in 2026

• Adaptieve bitrate-streaming voor spraak: gedekt door HLS/DASH; spraakspecifieke optimalisaties bestaan, maar doen er zelden toe.
• LE Audio voor direct-naar-hoortoestel-streaming: zie Toegankelijkheid van het gehoor op Android voor de diepere duik.
• Overal ondertiteling: elk groot platform verwacht nu dat ondertiteling beschikbaar is, vaak automatisch gegenereerd.
• Realtime routering: WebRTC, Twilio Voice, LiveKit. Productieklaar, doorgaans sub-200ms latentie.
• Toegankelijkheid zichtbaar maken: Live Caption op Android en iOS, integraties met schermlezers.

Wat nog tekortschiet

• Zichtbaarheid van routering in apps. Gebruikers van hoortoestellen zien nog zelden waar hun audio naartoe wordt gerouteerd. Het platform stelt de informatie beschikbaar; bijna geen enkele app toont het.
• Meertalige routering: automatische taalkeuze per luisteraar vanuit één bron. In principe mogelijk; niet netjes geproductiseerd.

De onontgonnen kansen

De plekken waar spraakinfrastructuur goed genoeg is, maar de producten nog niet:

1. Spraak-QA op schaal

De ASR-API’s zijn commodity’s. De kwaliteitscontrole-laag rond spraakproductie (detectie van tempodrift over afleveringen, consistentie van kamertoon, sissregressie) ontbreekt grotendeels. Dit is de VoiceLab-stelling: QA-tooling op signaalniveau die spraakproductie betrouwbaar maakt op volume.

2. Synthese bij lange duur met consistentie

Een audioboekhoofdstuk van 30 minuten, van begin tot eind gesynthetiseerd met consistente prosodie, stemming en tempo. Niemand levert dit vandaag goed. De componenten bestaan; de orkestratie niet.

3. Nasynchronisatie-prep-pipelines

De meeste nasynchronisatie is vandaag “vertaal het script en neem opnieuw op”. Tooling voor het prepareren van het origineel (timing-oriëntatiepunten extraheren, niet-overeenkomende gebaren detecteren, klemtoonpunten van de spreker signaleren) zit grotendeels in-house bij studio’s. De productlaag is dun.

4. Toestemmings- en audit-infrastructuur

Voice cloning in productie vereist toestemmingsvastlegging, audit-trails, regio-specifieke naleving, watermerken. Build-vs-buy is voor de meeste teams momenteel “build”. De kans voor een horizontaal compliance-product is groot.

5. Toegankelijkheid-first spraakproducten

Overal ondertiteling is nu baseline. Echte eersteklas toegankelijkheid (integratie met assistive listening, routering zichtbaar maken, multimodale redundantie) ontbreekt grotendeels in consumentenproducten. Zie de toegankelijkheids-audiomarkt is groter dan mensen denken.

Wat “bouwen op AudioLab” betekent voor spraak

VoiceLab is de QA- + workflow-laag. De browserzijdige demo meet helderheid, tempo, fillerdichtheid, kamerecho en sissen: de dingen die “opgenomen spraak” onderscheiden van “productieklare spraak”. De roadmap omvat:

• API-endpoints voor VoiceLab QA (in besloten ontwerp-preview)
• Drempels per verticaal voor podcasting / e-learning / nasynchronisatie-prep
• Lokalisatiebewuste markeringen voor uitspraakrisico
• Analyse van beurten met meerdere sprekers op archiefschaal

We synthetiseren geen stemmen. We doen geen voice cloning. We doen geen ASR. We doen de laag ertussenin: degene die de stemmen die je hebt, of de stemmen die je genereert, werkelijk productiekwaliteit maakt.

Waar het vakgebied heen gaat

Drie voorspellingen voor de spraakstack van 2027:

1. ASR wordt een commodity. Kwaliteitsdifferentiatie verschuift naar toestemming + audit. Modellen van Whisper-klasse zijn goed genoeg dat de nieuwe waarde in vertrouwensinfrastructuur zit, niet in nauwkeurigheid.
2. Realtime spraakconversie komt in mainstream consumenten-apps. Al in bèta voor sommige games en creator-tools; zit binnen 12 maanden in conferencing-platforms.
3. De “studio voice production”-stack consolideert. De tientallen punt-tools voor opschoning / dereverb / tempo / loudness storten in tot 2–3 dominante suites, met API-toegang voor downstream-platforms.

Gerelateerd

• Wat is audio-AI?
• De toegankelijkheids-audiomarkt is groter dan mensen denken
• Waarom fillerdichtheid meer telt dan filleraantal
• Kamerecho schatten zonder RT60
• Een pragmatisch loudness-doel voor podcasts

Doe mee

Het design-partnerprogramma van VoiceLab is open over alle vier de verticalen (podcast, e-learning, nasynchronisatie-prep, toegankelijkheid). Als je spraakinfrastructuur bouwt, laat dan een bericht achter via contact. We werken deze kaart bij wanneer het vakgebied verschuift.