Miks iga pakkumiste programm vajab kontrollrühma

Küsimus, millele atributsioon ei vasta

Atributsioon ütleb, millisele kokkupuutepunktile konversioon järgnes. See ei ütle, kas konversioon seda kokkupuutepunkti vajas. Google kirjeldab oma Conversion Lift uuringuid kontrollitud katsena: üks rühm näeb reklaame, kontrollrühm mitte, ja konversioonide erinevus on reklaamide põhjustatud tõus. Sama loogika kehtib ka saidisiseste pakkumiste, soovituste ja sõnumite kohta. Rühma, kes neid ei näe, nimetatakse kontrollrühmaks (holdout).

Lihtne näide

Oletame, et tasuta tarne sõnumit näidatakse 90% külastajatele ja 10% eest varjatakse. Sõnumit näinud külastajate konversioonimäär on 3,3%, kontrollrühmal 3,0%. Atributsioon omistaks sõnumile kõik konversioonid nende seas, kes seda nägid. Kontrollrühm näitab, et neist 3,3 protsendipunktist 3,0 oleks toimunud niikuinii, seega oli lisanduv vaid umbes üks konversioon üheteistkümnest.

Kui see väike erinevus maksab igal tellimusel marginaali, võib programm aruannetes edukas paista ja ikkagi raha kaotada. Kontrollrühm teeb selle nähtavaks.

Kuidas hoida kontrollrühm usaldusväärsena

Määra külastajad rühmadesse juhuslikult ja hoia igaüht kogu testi vältel samas rühmas, et tagasi tulev külastaja pool ei vahetaks. Otsusta rühma suurus, kestus ja edukuse mõõdik enne alustamist ning raporteeri ka ebakindlust, mitte ainult punkthinnangut: väikese liikluse korral võib 0,3-punktine erinevus olla müra.

Kontrollrühm tähendab, et osa külastajaid jääb meelega mõjutusest ilma. See on teadmise hind, kas see töötab. Mõõda kattetulu külastaja kohta, mitte ainult konversioonimäära, et tõus, mis annab ära rohkem, kui teenib, ei läheks võiduna arvesse.