Trustworthy Online Controlled Experiments
📘

Trustworthy Online Controlled Experiments

Auteur

👤 Diane Tang, Ron Kohavi & Ya Xu

Categorie
Research. data & experimentation

In het kort

Dit boek is een essentiële bron als je betrokken bent bij het ontwerpen, implementeren en analyseren van A/B-tests en andere vormen van online gecontroleerde experimenten. Het boek biedt zowel theoretische inzichten als praktische adviezen voor het optimaliseren van digitale producten.

Waarom je dit boek zou moeten lezen als je websites en/of apps optimaliseert

  • De auteurs zijn toonaangevende experts in het veld van online experimenten, met jarenlange ervaring bij Google, Microsoft en LinkedIn. Dit boek bundelt hun diepgaande kennis en praktische inzichten, waardoor het een onmisbare bron is voor professionals die willen leren van de besten in het vak.
  • Het boek biedt uitgebreide richtlijnen over het opzetten en uitvoeren van betrouwbare online gecontroleerde experimenten. Je leert hoe je valkuilen vermijdt, statistische significantie correct interpreteert en experimenten ontwerpt die echt waardevolle inzichten opleveren.
  • Door de methoden en technieken uit dit boek toe te passen, kun je websites en apps optimaliseren op basis van harde data in plaats van intuïtie. Dit leidt tot beter onderbouwde beslissingen, hogere conversieratio’s en een verbeterde gebruikerservaring.

3 meest belangrijke learnings uit het boek

  • Zorg voor doordachte testvarianten en onderschat de potentiële impact niet: Het is essentieel om experimenten zorgvuldig te ontwerpen met een controle- en een experimentgroep om betrouwbare resultaten te verkrijgen.
  • Resultaten interpreteren is een kunst: Resultaten correct interpreteren is van cruciaal belang, inclusief het aantonen van statistische significantie, het effect van variatie en het voorkomen van vals-positieven.
  • Er komen (hoogstwaarschijnlijk) ook culturele en organisatorische uitdagingen bij kijken: Naast (het behandelen van) de technische aspecten van online experimenten worden behandeld, zijn er ook culturele en organisatorische uitdagingen die bedrijven kunnen ondervinden bij het implementeren van een data-gedreven benadering.

Welke bruikbare informatie krijg je van dit boek als je website optimaliseert?

  • Gedetailleerde case studies: Het boek bevat praktijkvoorbeelden die laten zien hoe grote bedrijven succesvolle experimenten hebben uitgevoerd, inclusief wat wel en niet werkte.
  • Tools en technieken: Het boek bevat tools en technieken voor het uitvoeren van experimenten, waaronder softwareplatformen en statistische methoden, die direct toepasbaar zijn.
  • Strategieën voor implementatie: Het boek biedt strategieën voor het overwinnen van weerstand binnen een organisatie en het creëren van een cultuur die experimenten omarmt.

Wanneer je dit boek niet zou moeten lezen

  • Als je zoekt naar een snelle fix: Het boek is diepgaand en vereist tijd en aandacht om de concepten volledig te begrijpen en toe te passen.
  • Als je alleen geïnteresseerd bent in de basis: Dit boek gaat diep in op de materie en is het meest waardevol voor degenen die al enige kennis hebben van A/B-testen en online experimenten.