Bir Rakamın Gerçekten Hareket Edip Etmediğini Nasıl Anlarsınız?

Açıklamadan önce gelen kontroller

Bir sayı hareket eder ve bir saat içinde nedenine dair bir hikâye ortaya çıkar. Hikâye genellikle makul, bazen doğrudur ve neredeyse hiçbir zaman daha sıkıcı olasılıklara karşı sınanmaz: dönemin bitmemiş olması, boru hattında bir şeyin değişmesi, takvimin bunu zaten açıklaması, alttaki bileşimin kayması ya da bu rakamın her hafta zaten bu kadar zıplaması ve daha önce kimsenin bakmamış olması.

Aşağıdaki, nedenlere bir toplantı harcanmadan önce yapılacak kısa bir kontrol dizisidir. Bir deney tasarlamakla ilgili değildir; bir yapay zekâ özelliğinin ya da bir aracının işini yapıp yapmadığına karar vermekle de değil — onlar kendi yöntemleri olan ayrı sorulardır. Bu, çoğu haftanın başladığı yerden başlar: önünüzde bir grafik ve geçen seferkinden farklı bir rakam.

Dönem bitti mi diye sorun

En sık görülen hayalet düşüş, tamamlanmamış bir kovadır. Olaylar geç gelir — gece yeniden denenen bir kuyruk, haftalık raporlayan bir iş ortağı, satıştan günler sonra düşen iadeler ve mutabakatlar, çevrimdışı bir istemcinin yeniden bağlandığında eşitlenmesi. Bu yüzden en yeni gün, hafta ya da ay daima en hafifidir ve pazartesi sabahı okunan bir grafik, çarşambaya kadar kendi kendini dolduran bir düşüş gösterir.

Önce bu rakamın kesinleşmesinin ne kadar sürdüğünü sorun, sonra benzeri benzerle karşılaştırın: tamamlanmış bir haftayı tamamlanmış bir haftayla ya da kısmi bir dönemi önceki dönemlerin toplamlarıyla değil, onların içindeki aynı noktayla. Bu süreyi kimse bilmiyorsa bir kez belirlemek bir saate değer: aksi hâlde her ay tekrarlanacak bir yanlış alarmı emekliye ayırır.

Boru hattında ne değişti diye sorun

Hiçbir şey değişmedi bir iddiadır, olgu değil; ve izleme kodu, bir sayının kimse bilerek düzenlemeden değişebileceği yerlerden biridir. Bir sürüm bir düğmeyi taşımıştır, olay artık başka yerde tetiklenmektedir. İç trafiği hariç tutan bir filtre, alan adı değiştikten sonra eşleşmeyi bırakmıştır. Yukarı akışta bir alan yeniden adlandırılmış, boş gelmeye başlamış ve koca bir kırılım sessizce bilinmiyor içine çökmüştür. Otomatik trafik gelmiştir ve onu sınıflandıran bir şey yoktur. Hacim büyüyünce örnekleme açılmıştır.

Bir iş nedeni aramadan önce dağıtım günlüğüne, boru hattının çalışma geçmişine ve metrik tanımındaki son değişikliklere bakın. İpucu şekildir: gerçek davranış genellikle bir eğim ya da bir dalga gibi hareket eder; tek bir sınırda sıçrayıp yeni seviyesinde düz duran bir rakam ise çoğu zaman müşterilerin değil, bir toplama ya da tanım değişikliğinin işidir.

Takvim bunu zaten açıklıyor mu diye sorun

Hareketin büyük bölümü yalnızca takvimdir. Hafta içi ile hafta sonu neredeyse her üründe farklı davranır; resmî tatil içeren bir hafta bir öncekiyle karşılaştırılabilir değildir ve aylar içerdikleri iş günü sayısı bakımından ayrılır. Faturalama döngüleri yenilemeleri ve iptalleri belirli günlerde toplar, sektör genelindeki sakin haftalar ise bütün kategorileri aynı anda oynatır; hiçbiri sizinle ilgili değildir.

Bir önceki dönemin yanı sıra bir yıl öncesinin aynı dönemiyle de karşılaştırın; yeterli geçmiş varsa bu yılki düşüşü haber saymadan önce aynı haftaya birkaç yıl geriye bakın. Ters hataya karşı da tetikte olun: mevsimsel bir örüntü gösterilebilecek bir şeydir ve yılın bu döneminde hep durgundur bir sonuç değil, sınanacak bir varsayımdır.

Bileşim değişti mi diye sorun

Her parçası sabit dururken bir toplam hareket edebilir. Hızla büyüyen bir kanal, diğerlerinden daha düşük oranda dönüşen insanlar getiriyorsa, kimse için hiçbir şey kötüleşmemiş olsa bile harmanlanmış dönüşüm oranı düşer — ve aynı aritmetik ters yönde de işleyerek güçlü bir kırılım büyüdüğünde rakamı olduğundan iyi gösterir. Değişen bir topluluk üzerindeki her ortalama, kaliteyle hiç ilgisi olmayan sebeplerle oynar.

Kontrol, rakamı kayması en olası iki üç boyuta bölmektir — kanal, plan, bölge, cihaz, müşteri yaşı — ve oranlarla ağırlıkları birlikte okumaktır. Her kırılım bir yöne, toplam ters yöne gidiyorsa cevap bileşimdir ve dürüst rapor, tek başına manşet değil, kırılımlar ile boyutlarının birlikte verilmesidir.

Olağan salınımdan büyük mü diye sorun

Her sayının normal bir hareket miktarı vardır ve çoğu ekip kendininkini hiç ölçmemiştir. Bilindiği kadarıyla hiçbir şeyin olmadığı yakın bir döneme bakın ve rakamın yine de haftadan haftaya ne kadar gezindiğini not edin. O aralık, bu haftaki hareketin anlam taşıması için aşması gereken eşiktir.

Bu, en çok küçük paydalarda ısırır. Birkaç düzine vaka üzerinden hesaplanan bir oran, bir iki olayla birkaç puan savrulur; dar bir kırılıma ait haftalık rakamların dramatik görünüp sonra kendini geri alması bundandır. Nadir sonuçlar ve bir avuç büyük hesabın çektiği ortalamalar da aynı biçimde davranır. Payda küçükse ya pencereyi genişletin ya da oranın yanında sayıyı yayımlayın ki okuyucu yüzdenin neyden yapıldığını görsün.

Ancak o zaman neden diye sorun

Bu kontrollerden sağ çıkan bir hareket gerçektir; bu, açıklanmış olmakla aynı şey değildir. Aynı pencerede birkaç şey olmuştur — bir kampanya, bir fiyat değişikliği, bir rakibin kesintisi, bir yerde bir söz edilmesi, kimsenin bu metrikle ilişkilendirmediği bir sürüm — ve aralarından o sırada hangi ekip yayın yaptıysa ona göre seçmek en zayıf kanıttır.

Elinizde olması muhtemel en güçlü kanıt, değişikliği almamış bir gruptur: geri kalanın kontrol görevi gördüğü kademeli bir yayın, geride tutulan bir bölge, kampanya dışında bırakılan hesaplar. Böyle bir şey yoksa bunu cümlenin içinde söyleyin. Lansmandan sonra gelir arttı bir olgudur; lansman geliri artırdı ise yapmadığınız bir karşılaştırmayı gerektiren bir iddiadır. Zayıf cümleyi yazmanın maliyeti yoktur ve yanlış bir dersin bir yıl boyunca uygulanmasını önler.

Vardığınız sonucu yazın

Cevap ne çıkarsa çıksın metriğin yanına kaydedin: tarih, hareket, nelerin kontrol edildiği, sonunda ne olduğu. Aynı düşüşü bir sonraki fark eden çoğu zaman birkaç ay sonraki aynı kişidir ve bir notun alternatifi, bütün diziyi hafızadan yeniden yürütmektir.

Notlar ayrıca tek tek hepsinden yararlı bir şeye birikir: bu rakamın normalde nasıl davrandığının resmi, hangi nedenlerin tekrarladığı ve hangi kendinden emin açıklamaların sonradan yanlış çıktığı. Bunları tutan ekipler her çeyrek aynı tartışmayı yapmayı bırakır ve gerçekten yeni olan hareketleri fark etmekte hızlanır.