A/B testing és revenue kísérletek

Június eleje, hétfő délután. Dániel kész tervvel érkezik a meetingre: „A május 26-i koncert-hétvége óta tudjuk, mit érhet az MLOS-2 (42. lecke) — a modell szerint a három nap bevétele 30%-kal verte volna a restrikció nélküli pályát. Azt javaslom, terjesszük ki: minden erős szombatra menjen ki a kétéjszakás minimum, és mellé emeljük meg a hétvégi BAR-lépcsőt is. Nyárra és őszre együtt ez könnyen ötszámjegyű plusz.”

Ádám hátradől. „Tetszik. Egy kérdésem van: honnan tudjuk majd, hogy működik? Tavaly ősszel is átálltunk az új hétvégi árazásra, a negyedik negyedév RevPAR-ja nőtt hat százalékot — és máig vitatkozunk rajta, hogy az segített, vagy egyszerűen a piac jött vissza. A compset is nőtt akkor. Nem szeretném, ha jövő ilyenkor megint két véleményünk lenne egy közös szám helyett.”

Dániel elmosolyodik, mert Ádámnak igaza van — és mert erre a kérdésre létezik módszertani válasz. Ez a lecke arról szól, hogyan vezetsz be egy új revenue-taktikát úgy, hogy a végén ne vita legyen belőle, hanem mérés: kontroll-csoport, párosítás, hatás-nagyság és egy egyszerű szignifikancia-gondolat. A 46. leckében a promo-mérésnél már láttuk a magot (incremental a kontroll ellenében) — most ebből építünk általános kísérleti eszköztárat.

Miért hazudik a „bevezettük és nőtt”?

A webshopok világában az A/B testing (A/B tesztelés) triviális: a látogatók véletlenszerűen kiválasztott fele az A változatot látja, a másik fele a B-t, ugyanabban a pillanatban, ugyanazon a piacon — ami a két csoport között különbözik, az csak a treatment (a tesztelt beavatkozás). A hatás ezért tisztán kiolvasható a különbségből. Hotelben ez a luxus nem létezik, négy okból:

• Ugyanazt az éjszakát nem tudod kétszer eladni. A május 26-i szombat vagy MLOS-os volt, vagy nem — nincs párhuzamos univerzum, ahol ugyanaz a nap a másik változatot futja.
• Kicsi a minta. 80 szoba, 365 nap. Egy webshop egy hét alatt százezer látogatón mér; a hotelnek egy évben van talán 20 erős szombatja. Minden megfigyelés drága.
• A napok nem függetlenek és nem egyformák. Egy koncert-szombat és egy novemberi szombat nem összevethető; a péntek hatással van a szombatra (a stay-pattern átível); két egymás melletti hét keresletét ugyanaz a piaci hullám mozgatja.
• A piac maga is mozog. Szezon, compset-árazás (44. lecke), események, gazdasági környezet — minden változik, folyamatosan, a te beavatkozásodtól függetlenül.

A negyedik pont a leggyilkosabb, mert ez öli meg a legkézenfekvőbb „mérést”, a before/after összevetést („bevezettük szeptemberben, október jobb lett”). A before/after nem a taktikád hatását méri, hanem a taktikád hatását plusz mindent, ami közben történt — szezonváltást, piaci fellendülést, egy versenytárs renoválás miatti zárását. Pontosan ez Ádám tavalyi vitája: a +6% RevPAR-ból mennyi volt az új árazás, és mennyi a visszatérő piac? A before/after erre elvileg sem tud válaszolni.

A kontroll-csoport: a „mi történt volna” megmérése

A megoldás logikája minden kísérletben ugyanaz. A „működik?” kérdés valójában így hangzik: mennyivel lett jobb az eredmény ahhoz képest, ami a beavatkozás nélkül történt volna? Ez a „mi történt volna” — szaknyelven counterfactual (tényellentétes pálya) — közvetlenül nem figyelhető meg. (A 42. lecke „B” forgatókönyve — mi lett volna, ha a koncert-szombatra időben felkerül az MLOS-2 — pontosan ilyen volt: modellből számolt counterfactual.) A kontroll-csoport (control group) ezt pótolja megfigyelhető formában: egy olyan összehasonlítási alap, amely mindenben osztozik a teszt-csoporttal — szezon, piac, kereslet-környezet —, kivéve a treatmentet. Ha a kettő között különbség van, az (jó kísérleti design esetén) csak a beavatkozásból jöhet.

A webshop ezt véletlenszerű látogató-felosztással éri el. A hotelnek másképp kell kontrollt képeznie — erre öt gyakorlati módszere van.

Öt módszer a kontroll-képzésre hotelben

Néhány megjegyzés a módszerekhez:

A dátum-párosítás a hotel-RM munkalova. A párosítás szempontjai: azonos nap a héten, azonos szezon-fázis, azonos esemény-státusz (koncert a koncerttel, eseménytelen az eseménytelennel), azonos szünidő-státusz. A páron belül azt, hogy melyik dátum kapja a treatmentet, sorsolással döntsd el — ne a „gyanúsan erősebb” nap kapja, mert azzal pont azt a torzítást építed be, amit a kontroll kiszűrni hivatott.

A váltott hetek ereje, hogy az idő-trend kiátlagolódik: ha a piac a teszt alatt éppen erősödik, az erősödés a be- és kikapcsolt heteket nagyjából egyformán emeli, a különbségből kiesik. A spilloverre (átcsordulásra) kell vigyázni: ha a treatment-hét elutasított vendége a következő — kontroll — hétre foglal át, a kontroll már nem érintetlen.

A szegmens-split az egyetlen hely, ahol a hotel webshop-szintű randomizálást kap: a hírlevél-lista (49. lecke) véletlen fele kapja az új member-árat vagy ajánlat-szöveget, a másik fele a régit — ugyanabban a pillanatban, ugyanazon a piacon. Ha van zárt köröd, minden zárt-köri taktikát így tesztelj.

A szintetikus kontroll a 46. lecke kannibalizáció-becslésének általánosítása: ott a historikus pace mondta meg, mennyi foglalás jött volna promo nélkül — itt a historikus curve és a piaci trend együtt adja a viszonyítási pályát bármilyen beavatkozáshoz. Utolsó mentsvárnak jó; ha képezhető valódi kontroll, mindig az az erősebb.

Az MLOS-teszt számokban

Vissza Dániel javaslatához. Ádám kérdésére a válasz egy kísérleti terv — és az első fegyelmi döntés rögtön fáj: Dániel eredetileg két változtatást akart egyszerre (MLOS-2 kiterjesztés + magasabb hétvégi BAR-lépcső). Ha együtt mennek ki és nő a bevétel, sosem tudjuk meg, melyik dolgozott — ha pedig csökken, azt sem, melyik rontott. Egyszerre egy változó: először az MLOS-2 megy tesztbe, a BAR-lépcső a következő kísérlet.

A terv (indítás előtt írásban rögzítve):

• Hipotézis: az erős szombatokra tett, időzített feloldással kezelt stay-through MLOS-2 (a 42. lecke szekvenciája) növeli a hétvége-blokk bevételét.
• Minta: a következő 8 hét 8 erős szombatja (mindegyik 85%+ előrejelzett szombati kereslettel). Párosítás esemény-státusz szerint: 1 pár koncert-hétvége, 1 pár vásár/konferencia-hétvége, 2 pár esemény nélküli erős leisure-hétvége. A páron belül pénzfeldobás dönti el, melyik dátum a treatment.
• Mérőszám: a 3 napos hétvége-blokk (péntek+szombat+vasárnap) szoba-bevétele — a 42. lecke tanulsága: nem a szombatot mérjük, hanem a hétvégét, mert az MLOS haszna a shoulder-napokon realizálódik.
• Döntési küszöb (előre!): siker, ha az átlagos pár-különbség eléri a +800 EUR-t, és legalább 3 pár a 4-ből pozitív. Ez alatt: nem terjesztjük ki.
• Minden más azonos: a 8 hétvégén ugyanaz az árazási logika fut, promo egyiken sincs.

Nyolc héttel később az eredmény:

Az effect size (hatás-nagyság): átlagosan +1 630 EUR hétvégénként, ami a kontroll-hétvégék 16 275 EUR-os átlagához képest +10%. Évi ~20 erős szombattal számolva a taktika potenciálja nagyságrendileg 32 600 EUR/év — ez az a szám, ami Ádám asztalára kerülhet.

Jel vagy zaj?

De mielőtt ünnepelnénk: 4 pár nagyon kevés. Lehet, hogy a +1 630 csak szerencse — a zaj (a párok közti természetes, véletlen ingadozás) is produkálhat ekkora különbséget? Formális statisztikai próba helyett két egyszerű ellenőrzés adja az intuíciót:

1. Az irány-próba. Mind a 4 pár ugyanabba az irányba mutat. Ha az MLOS-nak semmi hatása nem lenne, minden pár 50–50 eséllyel lenne pozitív vagy negatív — annak az esélye, hogy véletlenül mind a négy pozitív legyen: 0,5⁴ = 1/16 ≈ 6%. Nem lehetetlen, de már valószínűtlen.

2. A jel/zaj arány. A jel az átlagos hatás; a zaj a pár-különbségek szórása (mennyire ingadoznak a +1 630-as átlag körül). A négy eltérés az átlagtól: +490, −40, −340, −110 → a szórás ~351 EUR. A jel/zaj arány:

jel/zaj = átlagos különbség / a különbségek szórása = 1 630 / 351 ≈ 4,6

Hüvelykujj-szabály: 2 alatt a „hatás” simán lehet zaj — ne dönts, futtasd tovább; 2–3 között ígéretes, de érdemes még párokat gyűjteni; 3 fölött a jel erős. A 4,6 azt mondja: a mért hatás több mint négyszerese a szokásos pár-közti ingadozásnak — ekkora különbséget a zaj gyakorlatilag nem produkál. Az előre rögzített küszöb (≥ +800 EUR, ≥ 3 pozitív pár) bőven teljesül: a taktika kiterjeszthető.

És a becsületes lábjegyzet: ha a jel/zaj 1,5 lett volna, a helyes döntés nem az újraértelmezés („azért a koncertes pároknál látszik valami…”), hanem a hosszabbítás — még 4 pár, aztán újra ránézni. A kis minta nem szégyen a hotelben; a kis mintából levont magabiztos következtetés az.

A kísérleti fegyelem szabályai

A fenti teszt nem a számolástól jó, hanem a fegyelemtől. Öt szabály — bármelyik megszegése az egész mérést értéktelenné teszi:

1. Mindent előre rögzíts: hipotézis, mérőszám, időtáv, döntési küszöb. Ha nincs előre kimondva, mi számít sikernek, akkor utólag minden kísérlet sikeres lesz — mindig találsz egy szeletet (egy szegmenst, egy dátum-ablakot, egy mérőszámot), ahol a szám kedvező. A 46. lecke promo-tanulsága általánosítva: a siker definíciója az indítás előtt születik, nem utána.

2. Egyszerre egy változó. Két együtt kitolt változtatás hatása szétválaszthatatlan. Ha kettőt akarsz tesztelni, az két kísérlet — sorban.

3. Minimális futási idő — ne állítsd le 3 nap után. Sem diadalból („már most látszik, terítsük ki!”), sem pánikból („az első hétvége gyengébb, kapcsoljuk ki!”). Az első pár mindig zaj. A futási időt az indításkor rögzített mintanagyság (nálunk: 4 pár) tölti ki — előbb csak akkor állj le, ha a taktika aktív kárt okoz.

4. A negatív eredmény is eredmény. „Az MLOS-3 nem hozott többletet a 2-höz képest” — ez megspórolja, hogy jövőre valaki újra bevezesse, és újra vitatkozzatok róla. Dokumentáld: mit teszteltünk, mikor, mi jött ki, mi volt a döntés. A 64. leckében látjuk majd, hogyan lesz ebből rendszerezett döntés-napló — a hotel intézményi memóriája.

5. Ismerd a kísérletezés üzleti korlátait. A csúcs-bevételi hetekkel (szilveszter, a legnagyobb vásár-hét) ne kísérletezz — ott egy félresikerült treatment ára túl magas, és amúgy is túl atipikusak ahhoz, hogy a tanulság általánosítható legyen. A törzsvendég-körön ne futtass kockázatos ár-tesztet — a bizalom-vesztés nem áll vissza a teszt leállításával. És minden treatment legyen visszafordítható: restrikciót fel lehet oldani; egy publikusan meghirdetett ár-ígéretet sokkal nehezebb.

Mikor kell kísérlet — és mikor nem?

A kísérlet nem ingyen van: tervezés, várakozás, a kontroll-dátumokon „fel nem tett” taktika lehetséges bevétel-áldozata. Ezért nem mindenre való:

• Nem kell kísérlet a triviális és könnyen visszafordítható döntésekhez. Egy elgépelt ár javítása, egy nyilvánvalóan bent felejtett restrikció kivétele, egy 2 EUR-os ár-finomhangolás a rendszer-javaslat mentén (a 36. lecke rugalmasság-logikája szerint) — csak csináld, és figyeld a pickupot. Itt a kísérlet költsége nagyobb, mint a tét.
• Kell kísérlet a tartós, nehezen visszafordítható, vitatott vagy nagy tétű változtatásokhoz: új árpozíció a compsethez képest, új csatorna-stratégia, egy restrikció-rendszer (nem egy nap, hanem egy szabály minden erős szombatra), egy member-program árazása. Közös bennük: ha tévedsz, sokba kerül, és a „működik-e” kérdésen amúgy is vita lenne — a kísérlet olcsóbb, mint egy éven át rossz stratégiát futtatni vagy egy éven át vitatkozni egy jóról.

A kettő között él a szürke zóna — és ott egy hasznos köztes forma: a kiértékelt bevezetés. Nem képezel fizikai kontrollt, de előre rögzíted a mérőszámot és a szintetikus kontrollt (historikus curve + piaci trend), és kitűzöl egy felülvizsgálati dátumot. Ugyanez a gondolat működteti az árazási javaslatok felülbírálásainak utólagos kiértékelését is (56. lecke): minden override egy mini-kísérlet — a rendszer-javaslat a (szintetikus) kontroll, a kézi döntés a treatment, és utólag megnézhető, melyik nyert volna.

Vissza Ádám asztalára

Kilenc héttel a júniusi meeting után Dániel egyetlen lapot tesz Ádám elé — a 60. lecke receptje szerint a számmal kezdve: „Az MLOS-2 a tesztelt erős szombatokon hétvégénként +1 630 EUR-t hozott, +10%-ot a kontrollhoz képest. Mind a négy pár pozitív, a jel több mint négyszerese a zajnak. Javaslom a kiterjesztést minden 85% fölötti szombatra — a BAR-lépcső emelését pedig külön tesztben mérjük ki ősszel.”

Ádám végigfutja a pár-táblázatot, aztán felteszi a tavalyi kérdést: „És honnan tudjuk, hogy nem csak a piac volt erős ezekben a hetekben?” — és most van rá válasz: „Onnan, hogy a kontroll-szombatok ugyanazon a piacon éltek. Ha a piac emelt volna, a kontrollt is emeli — a különbségből a piac kiesik. Pont ezért nem a tavalyhoz mértünk, hanem egymáshoz.”

A tavalyi vita — segített, vagy a piac jött vissza? — ezúttal nem ismétlődik meg. Nem azért, mert Dániel meggyőzőbben érvel, hanem mert a kérdésnek már az indulás előtt megépítette a válasz-gépét. Ez az A/B-gondolkodás igazi hozadéka a revenue managementben: nem több adat, hanem eldönthető kérdések.

Kulcsüzenetek

• A before/after összevetés hotelben szinte mindig hazudik: a taktikád hatását a szezon, a piac és a compset mozgásával összemosva méri. A „működik?” kérdésre csak kontroll-csoport tud válaszolni — egy olyan összehasonlítási alap, amely mindenben osztozik a teszttel, kivéve a treatmentet.
• A hotel nem webshop — ugyanazt az éjszakát nem adhatod el kétszer, és kicsi a minta —, de van öt adaptált kontroll-módszere: dátum-párosítás, váltott hetek, szegmens/csatorna-split (az egyetlen igazi randomizálás — zárt körben), több-egységes teszt és szintetikus kontroll.
• A hatást a pár-különbségek hordozzák: az MLOS-tesztben 4 pár, átlag +1 630 EUR/hétvége (+10%), mind a négy azonos irányban (ennek esélye hatás nélkül 0,5⁴ ≈ 6%). A szignifikancia-intuíció: jel/zaj arány = átlagos hatás / a különbségek szórása (1 630/351 ≈ 4,6) — 2 alatt zaj lehet, 3 fölött erős a jel.
• Fegyelem nélkül nincs kísérlet: előre rögzített hipotézis + mérőszám + időtáv + döntési küszöb; egyszerre egy változó; végigfuttatott minta; dokumentált negatív eredmény; és nem kísérletezünk a csúcs-hetekkel meg a törzsvendégek bizalmával.
• Nem minden döntéshez kell kísérlet: a triviális, visszafordítható lépéseket csak lépd meg. Kísérlet a tartós, nehezen visszafordítható, vitatott vagy nagy tétű változtatásoknak jár — ott viszont olcsóbb, mint egy évig rossz stratégiát futtatni vagy egy évig vitatkozni egy jóról.