A/B Testi

A/B testi, kullanıcıları rastgele bir sürüme atayıp önceden tanımlanmış bir ölçütü ölçerek bir deneyimin iki sürümünü karşılaştırır. Karşılaştırmayı nedensel kılan şey rastgeleleştirmedir: atama kullanıcının kim olduğundan bağımsız olduğu için, sonuçtaki sistematik fark, iki grubun baştan farklı olmasına değil değişikliğe atfedilebilir. Tüm değer buradadır ve öncesi-sonrası karşılaştırmalarının veremediği de budur; çünkü mevsimsellik, pazarlama etkinliği ve ürün değişiklikleri sayıları kendi başlarına oynatır. Dürüst bir test, başlamadan önce verilmiş birkaç taahhüt ister. Tek bir birincil ölçüt ve saptamaya değer en küçük etkiyi seçin ve testin ne kadar süreceğini bunlarla hesaplayın — süresi veriler geldikten sonra kararlaştırılan bir test, elverişli bir durma noktası arayışıdır. Tam iş döngüleri, genellikle tam haftalar boyunca çalıştırın; hafta içi ve hafta sonu trafiği farklı davranır. Hangi ikincil ölçütlerin korkuluk işlevi göreceğine baştan karar verin ki iade artışıyla birlikte gelen bir dönüşüm yükselişi zafer diye kaydedilmesin. Ve atamanın gerçekten çalıştığını denetleyin: eşit olmayan grup büyüklükleri, sonucu geçersiz kılan bir ölçümleme hatasının olağan işaretidir. Asıl pratik sınır trafiktir. Çoğu değişiklik küçük etkiler üretir, küçük etkiler ise büyük örneklem ister; bu yüzden düşük trafikli ürünler önemsedikleri farkları çoğu zaman çözemez. Böyle bir durumda değişiklikleri sıraya dizmek, daha büyük savrulmaları sınamak ya da niteliksel kanıta yaslanmak, gücü yetersiz bir test çalıştırıp sonucunu okumaktan daha dürüsttür.