Meten waar mensen afhaken.

Werkt het, en voor wie niet?

Je hebt een programma, cursus of traject ontwikkeld. Je wilt weten of mensen het afmaken, en of ze er aantoonbaar iets aan hebben. En als ze afhaken: waar, en waarom?

Inhoud maken is niet hetzelfde als weten of het werkt.

Bij een organisatie in de gezondheidszorg doorlopen cliënten online programma's om te leren omgaan met hun klachten, samen met een behandelaar of coach. Dat is al een klantreis, voor de cliënt én voor de behandelaar. En er was een duidelijke wens: behandelmethoden die aantoonbaar werken. Evidence based. Daar hoort meten bij.

Maar het CMS leverde content zoals die was, meer niet. Er zat een begin- en eindmeting in de programma's, maar wat daartussen gebeurde, bleef onzichtbaar. Verbeteren werd zo een kwestie van gevoel, en een verbetering gold meteen voor iedereen, zonder vergelijking.

Content is geen doel op zich.

Mijn idee: een CMS dat niet alleen content bewaart, maar laat zien wat die content doet. Stel je voor dat je boven een druk station hangt en alle stromen reizigers ziet bewegen. Waar het goed loopt, kleurt het groen. Een knelpunt licht op in rood.

Zo'n laag leg je over het hele CMS, alsof je door een speciale bril kijkt. De maker stelt zelf de doelen. Op elk niveau, van programma tot stap, kun je meetpunten aanzetten. En bij een aanpassing zie je vooraf wat het zou moeten opleveren, en daarna of dat ook gebeurt.

Voor een programma betekent dat: wat moet een cliënt na elke stap kunnen of weten, waar zit het meetpunt, en waar vallen mensen uit? En je zet een nieuwe variant van één stap naast de bestaande, om te zien welke beter werkt. Klik op een stap, en probeer de variant.

Meten wat werkt, niet wat klikt.

In de zorg is meten geen marketing. Het gaat om de vraag of een behandeling aantoonbaar helpt. Daarom sloot het idee zo goed aan bij de wens van de organisatie: niet alleen aan het begin en het eind meten, maar per stap zien wat werkt, voor wie, en waar. Het doel is dat cliënten beter leren en het programma afmaken. Niet dat ze langer op een scherm blijven.

Het concept, en een basis om op te bouwen.

Het concept, van mijn hand:

• prestatiegericht contentbeheer: prestaties als laag over het CMS, met doelen die de maker zelf stelt
• inzoomen van het geheel tot op één pagina of stap, met op elk niveau meetpunten die je kunt aanzetten
• suggesties voor verbetering, met een verwachting vooraf en een meting achteraf
• een aangepast contentmodel dat zich er van nature voor leent om doelen te koppelen en varianten te testen

De basis, waar ik als architect en senior developer aan werkte:

• programma's als content in bestanden, met versies en varianten die je kunt bijhouden en publiceren
• een voorbeeldweergave van content die nog niet gepubliceerd is, in dezelfde omgeving als de gepubliceerde
• deels: fictieve gebruikers (persona's) die het verloop in verschillende scenario's doorlopen, telkens opnieuw
• de voortgang van cliënten, zichtbaar voor behandelaars en coaches, en in rapportages voor managers

Een idee dat aansloot, en wat het tegenhield.

Het concept sloot aan bij wat de organisatie wilde: aantonen dat behandelingen werken. De basis stond. Makers konden versies en varianten maken en testen zonder dat cliënten er iets van merkten, en behandelaars zagen hoe hun cliënten vorderden.

Toch heeft het concept het productiestadium niet gehaald. Het platform ontwikkelen en aanpassen was moeizaam, destijds nog zonder AI. En een programma samenstellen was veel klikwerk, met weinig kennis van interactieontwerp bij de makers. Al die moeite ging ten koste van waar het om draaide: effect stellen en meten. Varianten konden naast elkaar bestaan, maar zijn nooit tegen elkaar afgezet. Dat was teleurstellend.

De les die ik meeneem: meten bouw je niet achteraf in, je ontwerpt het vanaf het begin mee. En wat toen de rem was, het bewerkelijke bouwen en samenstellen, is nu veel beter te doen. Het beeld hierboven laat zien wat het oplevert, met voorbeelddata.

Signalen dat het bij jou ook speelt.

• Je weet hoeveel mensen beginnen, maar niet waar ze stoppen.
• Verbeteringen gaan voor iedereen tegelijk live, zonder vergelijking.
• Je kunt varianten maken, maar niet zien welke beter werkt.
• De mensen die de inhoud maken, zien de resultaten niet.
• Content samenstellen is vooral klikwerk.

Zo kijk ik ook naar deze website: als een reis met doelen, meetpunten en plekken waar mensen afhaken. Dat is de rode draad in al mijn werk.