Her kampanya programının neden bir kontrol grubuna ihtiyacı var?

Atıflandırmanın yanıtlayamadığı soru

Atıflandırma (attribution), bir dönüşümün hangi temas noktasından sonra geldiğini söyler; dönüşümün o temas noktasına ihtiyaç duyup duymadığını söyleyemez. Google, Dönüşüm Artışı (Conversion Lift) çalışmalarını kontrollü bir deney olarak tanımlar: bir grup reklamları görür, kontrol grubu görmez ve iki grup arasındaki dönüşüm farkı reklamların yarattığı artıştır. Aynı mantık site içi teklifler, öneriler ve mesajlar için de geçerlidir. Bunları görmeyen gruba kontrol grubu (holdout) denir.

Basit bir örnek

Ücretsiz kargo mesajının ziyaretçilerin %90’ına gösterildiğini, %10’undan ise saklandığını varsayalım. Mesajı görenlerin dönüşüm oranı %3,3; kontrol grubununki %3,0. Atıflandırma, mesajı görenler arasındaki her dönüşümü mesaja yazar. Kontrol grubu ise bu 3,3 puanın 3,0’ının zaten gerçekleşeceğini gösterir; yani yaklaşık on bir dönüşümden yalnızca biri artımsaldır.

Bu küçük fark her siparişte katkı payından yiyorsa program raporlarda başarılı görünüp yine de para kaybettirebilir. Bunu görünür kılan şey kontrol grubudur.

Kontrol grubunu güvenilir tutmak

Ziyaretçileri rastgele atayın ve test boyunca her birini aynı grupta tutun; böylece geri dönen bir ziyaretçi taraf değiştirmez. Başlamadan önce grup büyüklüğüne, süreye ve başarı metriğine karar verin; yalnızca nokta tahminini değil belirsizliği de raporlayın. Az trafikle 0,3 puanlık bir fark gürültü olabilir.

Kontrol grubu, bazı ziyaretçilerin uygulamayı bilerek almaması demektir. Bu, işe yarayıp yaramadığını bilmenin bedelidir. Yalnızca dönüşüm oranını değil ziyaretçi başına katkıyı da ölçün; böylece kazandırdığından fazlasını veren bir artış başarı sayılmaz.