Groene blinkenlights, haperende stream

Wie een professionele streamingdienst draait, kijkt dagelijks naar dashboards vol grafieken uit de spelers van kijkers: opstarttijd, buffering, foutmeldingen, gekozen bitrate. Staat alles op groen, dan lijkt de dienst gezond, en concludeer je dat je je werk goed hebt gedaan. Maar zo'n dashboard meet alleen hoe goed de stream wordt afgeleverd, niet hoe goed de stream zelf is. En juist daar ontstaan de problemen die kijkers merken. EUSV (end-user stream validation) en EUSB (end-user stream benchmarking) geven de CTO de tools om de encoder-packagerketen feitelijk door te meten en te tunen.

Meten aan het einde van de keten

Real user monitoring, kortweg RUM, meet wat de speler rapporteert. Dat is waardevol, maar ook een beetje achterhaald: CMCD, Common Media Client Data zoals het heet, is een relatief nieuwe standaard waarmee spelers hun meetgegevens met elk verzoek meesturen naar het CDN. Beide meten echter alleen het einde van de keten. Ze zien dát een speler buffert, maar niet waarom. Ze zien welke bitrate een kijker binnenkrijgt, en of er technisch videosegmenten worden geladen, maar niet of die stream goed beeld oplevert.

Daardoor kan een stream er op het dashboard keurig uitzien, terwijl de kijker naar beeld met dropped frames kijkt, het dubbele aan data verbruikt of geluid hoort dat achterloopt. De speler meldt namelijk geen fout: technisch gezien speelt alles af. En gaat het wel mis, dan wijst het dashboard al snel naar de verkeerde schuldige: buffering lijkt een CDN-probleem, terwijl de oorzaak in het manifest kan zitten.

En dan kijk je zelf nog even mee op je smart-tv. Het beeld ziet er prima uit, en de blinkenlights bevestigen het. Maar een moderne tv is juist erg goed in het wegmoffelen van fouten: slimme filters en opschalingsalgoritmen poetsen artefacten weg, en een vergevende parser en decoder slikken zonder morren wat niet aan de standaard voldoet. Op een oudere tv, een goedkope settopbox of een telefoon met een strengere speler ziet het er heel anders uit, of stopt de stream zomaar. Je eigen apparaat is geen goede referentie voor de rest.

In de stream kijken

EUSV haalt de stream op precies zoals een kijker hem ontvangt, en doet er een diepe inspectie in: het manifest wordt regel voor regel getoetst aan de officiële specificaties, en de segmenten worden geanalyseerd tot op het niveau van afzonderlijke frames en tijdstempels. Je meet dus niet het symptoom, maar de oorzaak.

Encoding

Staat de bitrate in verhouding tot de beeldkwaliteit, of wordt er op archiefkwaliteit uitgeleverd, zonder harde bovengrens? Draait de encoder op snelheidsinstellingen of een jaren oude versie? Worden B-frames gebruikt, de beelden die naar voren én naar achteren verwijzen en daardoor veel bits besparen, en op HD het efficiëntere High-profiel? Is de bitrateladder logisch opgebouwd, zonder overlappende niveaus? Staan de keyframes op een vast ritme op de segmentgrenzen, of berust de uitlijning tussen kwaliteitsniveaus op toeval? En wordt het geluid niet in elk kwaliteitsniveau opnieuw meegestuurd?

Een te hoge bitrate ziet er op het dashboard uit als goed nieuws. In werkelijkheid betaal je het dubbele voor opslag en dataverkeer, ziet de kijker geen beter beeld en buffert hij eerder bij een wisselende verbinding. Ontbrekende B-frames of een keyframe elke seconde kosten al snel 10 tot 30 procent extra data, juist bij sport en bij rustige beelden. En beeld dat bij snelle scènes in ruis uiteenvalt, of waaruit het leven is weggecodeerd: de speler speelt het keurig af, het dashboard rapporteert niets, en de kijker haakt af.

Packaging en manifest

Komt de bandbreedte in het manifest overeen met de werkelijkheid? Staan codecs, resoluties en profielen er volledig en correct in? Wordt een actuele protocolversie gebruikt? En bij live: is het venster lang genoeg om haperingen op te vangen en terugkijken mogelijk te maken?

Een manifest dat een te lage bandbreedte opgeeft, laat de speler een niveau kiezen dat de verbinding niet aankan. Een manifest dat een eenvoudiger codec-profiel aankondigt dan erin zit, laat een ouder apparaat vrolijk beginnen, waarna het vastloopt. Een ladder waarin een lager niveau meer bandbreedte vraagt dan een hoger, stuurt de kijker precies de verkeerde kant op. En bij vooraf verpakte video met een tijdstempel in de segmentnamen breekt elke herverwerking de caches. Je dashboard staat gewoon op groen.

Timing

In dit deel van de keten draait vrijwel alles om timing, en dat meet EUSV expliciet. Lopen de tijdstempels continu door, of zitten er gaten en sprongen in? Staat de segmentduur exact in het manifest, of afgerond, zodat er per segment milliseconden verschil ontstaat dat zich ophoopt? Vallen de segmentgrenzen in alle kwaliteitsniveaus op hetzelfde moment? Blijven audio en video gelijk lopen, ook na dagen ononderbroken uitzenden? De kijker merkt afwijkingen als een hapering of kort zwart beeld bij het wisselen van kwaliteit, geluid dat achterloopt, of een live stream die terugspringt.

Architectuur

Een stream verraadt ook veel over de keten erachter. Er zijn namelijk vele manieren om bronsignaal, encoding en packaging op elkaar af te stemmen. De gangbare, robuuste aanpak: elke component doet waar hij goed in is, verwacht van de andere niet meer dan de standaard voorschrijft en kan overweg met kleine afwijkingen. Sommige oplossingen wijken daarvan af: verantwoordelijkheden worden verschoven, of problemen worden gemaskeerd en blijven onzichtbaar tot het een keer echt misgaat. Zo'n keten werkt zolang alles meezit, maar is veel gevoeliger voor een haperend bronsignaal, een herstart of wat pakketverlies. Moet een packager corrigeren voor een gebrekkige architectuur of matige afstemming, dan worden frames overgeslagen of dubbel getoond, en dat hakkelen zie je meteen, bijvoorbeeld tijdens een voetbalwedstrijd. Een live stream kan zelfs stoppen, terwijl een netjes afgestemde keten met een robuuste architectuur dit had opgevangen.

Het effect op het CDN

Architectuurkeuzes werken door tot in het CDN. Publiceren alle kanalen op exact hetzelfde moment een nieuw segment, dan komen alle cache misses ook tegelijk binnen: elke paar seconden een piek op de origin. Is de packager net te laat, dan krijgt de eerste aanvraag een foutmelding, en onthoudt het CDN die even, negative caching zoals het heet, dan missen hele groepen kijkers een segment. Het ene CDN is daar gevoeliger voor dan het andere: veel kleine edges zonder tussenlaag halen elke cache miss zelf bij de origin, terwijl request coalescing en een origin shield de origin afschermen. Je RUM-dashboard geeft dan het CDN de schuld, terwijl het probleem in de combinatie van packager en CDN zit. Een CDN-probleem is dus lang niet altijd een probleem van het CDN zelf. Vaak ligt de waarheid in het midden, en juist daarom zijn diepere expertise en de keten goed doormeten essentieel.

Meten in de hele keten

Een stream gaat door veel handen: bronsignaal, ingest, encoder, packager, origin, CDN en speler. Elk van die schakels kan een probleem veroorzaken, doorgeven of maskeren. Toch zien we in de praktijk vaak dat er alleen wordt gewerkt met een beperkt aantal meetdashboards, die bovendien de onderliggende logs vaak verbergen. Dan zie je wel dát er iets misgaat, maar niet waar. Aannamen leiden vroeg of laat tot verkeerde conclusies en verkeerde keuzes, en jij als klant bent daar de dupe van.

Je mag daarom van je leverancier verwachten dat hij op elke overgang logt en meet, die metingen ook echt gebruikt, en EUSV inzet als sluitstuk. Bij EUSB zie je dat verschil haarscherp: partijen die de expertise hebben om de hele keten te begrijpen, te meten en te tunen, tegenover partijen die stoppen bij "het dashboard zegt dat het werkt". Als er al iets gemeten wordt, want ook die voorbeelden zijn er.

Benchmarken: je keten naast de markt

EUSB gaat nog een stap verder dan EUSV: je legt dezelfde metingen naast de werkelijke streams van andere aanbieders. Niet wat in hun brochures staat, maar wat hun kijkers ontvangen. Je ziet hoe verschillend partijen met dezelfde standaarden omgaan, waar je eigen keten achterblijft, en waar die het aantoonbaar beter doet dan je concurrent. Door elk onderdeel te scoren, van aantoonbaar fout tot aantoonbaar geoptimaliseerd, wordt de vergelijking concreet. Je eigen keten valideer je af en toe, de markt benchmark je regelmatig: daar zie je precies wie zijn stack aan het tunen is, of heeft vervangen. Het leuke is dat dit volstrekt onafhankelijk kan, op basis van de streams zelf.

Meer dan techniek

Naast de techniek kun je een keten ook benchmarken op niet-technische zaken.

• Efficiëntie en duurzaamheid. Elke overbodige megabit kost opslag, dataverkeer en energie, bij elke kijker opnieuw. Een efficiënte keten is daardoor ook een groenere keten. Vrijwel geen aanbieder rapporteert hierover: er valt nog veel winst te behalen.
• Digitale soevereiniteit. Waar draaien origin, CDN en analytics werkelijk, en onder welke jurisdictie? Dat is via DNS en netwerkverkeer gewoon te verifiëren. Soevereiniteit staat steeds vaker in de brochure. In de DNS-records wat minder vaak. Welk SEAL-niveau uit het Europese Cloud Sovereignty Framework past eigenlijk bij jouw keten?
• Privacy. Wordt kijkgedrag tijdens het afspelen naar derden gestuurd? En wat mogen en doen CDN's en RUM-partijen met de toegangslogs over jouw marktbereik en abonnees?
• Toegankelijkheid en toekomstvastheid. Zijn ondertiteling en audiosporen correct opgenomen, zoals de European Accessibility Act voor veel diensten vereist? En kun je componenten los vervangen, of wordt de volgende migratie pijnlijk?

Wat EUSV en EUSB je als CTO opleveren

Meten bij de speler is een prima thermometer, maar een thermometer vertelt je dat je koorts hebt, niet waarom. EUSV en EUSB zijn de diagnose, en leveren verrassend harde en rijke informatie op:

• Je ziet wat je kijkers werkelijk ontvangen. Geen testomgeving of brochure, maar de manifests en segmenten die bij hun spelers aankomen.
• Je krijgt feiten in plaats van meningen. Gangbare, open meetinstrumenten, getoetst aan publieke specificaties zoals de HLS-standaard en de ontwerprichtlijnen van Apple. Elke bevinding is te herleiden tot een concrete regel of waarde, en dus reproduceerbaar.
• Je weet snel waar je staat. De opbouw van een stream volgt rechtstreeks uit de configuratie. Eén goede meting geeft daardoor al een compleet beeld, en herhalen is alleen nodig bij oplevering, na een wijziging of als steekproef.
• Je maakt verborgen risico's zichtbaar. Een standaard is het contract tussen componenten. Een validatie laat zien waar je keten op een vergevende speler of een specifieke combinatie van componenten leunt, voordat dat stukgaat bij een ander component, de speler of een migratie.
• Je ziet kosten die geen kijker meldt. Kijkers klagen zelden: ze zappen weg. En een te hoge bitrate zie je niet in een klacht, maar op je factuur.
• Je staat sterker in het gesprek met je leverancier. Met reproduceerbare metingen en een vergelijking met de markt bespreek je feiten, geen gevoel.

Zeven vragen aan je leverancier

Wil je weten hoe het met jouw keten zit? Begin dan met deze zeven vragen aan je leverancier.

1. 1Welke eisen stelt je packager aan het signaal van de encoder, waar staan die gedocumenteerd, en welke architectuur volgt de packager?
2. 2Wat gebeurt er in de gehele keten met de stream als de bron hapert of er onderweg pakketten verloren gaan?
3. 3Kun je de encoder en de packager los van elkaar vervangen, of zit je vast aan een specifieke combinatie?
4. 4Is je keten gevalideerd op de werkelijke output, getoetst aan de officiële specificaties, of alleen op wat de eigen monitoring rapporteert?
5. 5Meet je leverancier op elke overgang in de keten, of alleen aan het einde?
6. 6Hoe verhoudt je bitrate zich tot de beeldkwaliteit, en hoe doen vergelijkbare diensten het?
7. 7Waar draaien encoding, origin, CDN en analytics, en onder welke jurisdictie vallen ze?

Krijg je op deze vragen geen helder antwoord, dan is dat ook een antwoord. Misschien niet het antwoord dat je wilt horen, maar je klanten stellen deze vragen vroeg of laat aan jou. Of ze haken af.

Laat je stream valideren

Ben je benieuwd wat er werkelijk in jouw streams zit? Jet-Stream voert graag een EUSV voor je uit op je eigen streams, aangevuld met een regelmatige EUSB waarin we je streams naast de markt leggen, en desgewenst ook op efficiëntie, duurzaamheid en soevereiniteit. Je krijgt meteen concrete verbetertips. Neem contact met me op voor een vertrouwelijk gesprek.