Korkuluk Ölçütü

Korkuluk ölçütü, iyileştirmek için değil, kötüleşmediğinden emin olmak için izlediğiniz bir ölçüdür. Her eniyileme hedefi, kimsenin amaçlamadığı yollarla oynatılabilir: fiyat sayfası fiyatı gizlediğinde kayıtlar artar, sonradan iadeleri önleyen bir adım atlandığında etkinleşme iyileşir, bildirimler rahatsız edici hale geldiğinde etkileşim yükselir. Korkuluklar önceden ilan edilmiş karşı ağırlıklardır; böylece birincil ölçütte kazanıp önemli bir yerde kaybeden bir değişiklik başarı değil kayıp olarak kaydedilir. İşe yarar korkuluklar, her deney için o değişikliğin akla yatkın yan etkilerinden seçilir; buna tüm ekibin izlediği küçük bir sabit küme eklenir: iade veya ters ibraz oranı, destek başvuru oranı, abonelikten çıkma oranı, sayfa gecikmesi ve hata oranı. Genellikle birincil ölçütten farklı biçimde değerlendirilirler — bir iyileşmeyi kanıtlamaya çalışmıyorsunuz, yalnızca önemsenecek büyüklükte bir bozulmayı saptamak istiyorsunuz; bu yüzden önceden anlaşılmış bir eşik, düşük trafikli bir korkuluğun nadiren geçeceği bir anlamlılık sınamasından daha kullanışlıdır. İki alışkanlık onları dürüst tutar. Deney başlamadan önce yazın; sonradan seçilen bir korkuluk, tesadüfen iyi görünen olma eğilimindedir. Ve eylemi önceden tanımlayın: hangi korkuluk hareketleri yayını durdurur, hangileri bir takip gerektirir ve kim karar verir. Bu olmadan korkuluk, karar zaten verildikten sonra birinin ekran görüntüsünü aldığı bir grafiktir.