A/B Testing

Definíció

Két változat összevetése kontrollált körülmények között, hogy egy taktika valódi hatását elkülönítsd. A hotel ritkán tudja a vendégeket véletlenszerűen kettéosztani, ahogy egy weboldal teszi — ezért az RM átszabja az ötletet: dátum-párosítás (párba állított teszt- és kontroll-hétvégék), váltott hetek, szegmens-splitek, vagy egy testvér-szálloda kontrollként.

Mit mutat meg

A „bevezettük, és nőtt a bevétel” szinte semmit nem bizonyít — közben a szezon, a piac és a compset is mozgott. A kontrollált összevetés elkülöníti a taktika hatását a környezettől. Formális statisztika helyett két egyszerű ellenőrzés: az összes pár ugyanabba az irányba mutat-e, és elég nagy-e az átlagos hatás a zajhoz (a párok közti szóráshoz) képest? A ~3 fölötti jel/zaj arány erős eredmény; ~2 alatt kezeld zajként.

Hogyan kövesd

A hipotézist, a mérőszámot és a döntési szabályt még a teszt indulása előtt írd le, futtasd az előre megbeszélt ideig, és naplózd az eredményt — akárhogy is alakul. A klasszikus hibaminta az utólagos ráigazítás: minden teszt sikeresnek látszik, ha a mérőszámot utólag választod ki.

Hol a helye

Ez az a fegyelem, amely az árazási véleményekből bizonyítékot csinál — és a döntés-napló természetes bemenete. Az ingyenes Academy részletesen körüljárja: A/B testing és revenue kísérletek.