Bir Metriği İki Ekip Aynı Sayıyı Bulacak Şekilde Nasıl Tanımlarsınız?

Tartışma veriyle değil, tanımla ilgilidir

İki kişi iki panoyu açar, ikisi de aynı ambardan dürüstçe kurulmuştur ve aynı hafta için farklı sayılar okur. Kimse bir şeyi bozmuş değildir. Olaylar tetiklenmiş, boru hattı çalışmış, iki sorgu da doğrudur. Farklı şeyleri sayıp aynı kelimeyle anıyorlardır ve ardından gelen toplantı bir karar vermek yerine aritmetiği uzlaştırmakla geçer.

Bu rehber, bunun olmaması için tanımın yazıya dökülmesiyle ilgilidir. Ölçümlemeyle — olayların nerede tetiklendiği, bir izleme planında ne bulunması gerektiği, toplamayı hangi aracın yaptığı — ilgili değildir; şirketinizin hangi metrikleri önemsemesi gerektiğini seçmekle de ilgili değildir. Verinin geldiğini ve birinin bu sayının önemli olduğuna çoktan karar verdiğini varsayın. Buradaki iş, o sayının tam olarak ne olduğunu söylemektir.

Paydadan başlayın

Tartışma çıkaran metriklerin çoğu orandır ve anlaşmazlığın neredeyse tamamı çizginin altında yaşar. Ziyaret başına, kişi başına, ilgili sayfaya ulaşan kişi başına ve satın almaya uygun kişi başına ölçülen dönüşüm oranı dört farklı sayıdır ve dördü de savunulabilir. Savunulamaz olan, bunu söylenmemiş bırakmaktır; çünkü her okuyucu boşluğu sessizce kendi seçeceği paydayla dolduracaktır.

Önce popülasyonu yazın: ekibin dışından birinin ek soru sormadan uygulayabileceği bir cümleyle. Sonra onun içinde neyin sayıldığını yazın. Sıra önemlidir: paydan başlayan ekipler paydayı, payın nereden geldiyse orası olarak tanımlama eğilimindedir — bir oranın tam da payın seçtiği grup üzerinden hesaplanması ve hiç düşmemesi böyle olur.

Neyin bir adet sayıldığına karar verin

Her sayımın bir birime ve tekrarları birleştirecek bir kurala ihtiyacı vardır. İki adresle iki kez kaydolan biri bir müşteri midir, iki mi? Bir destek görüşmesi ikinci bir kanala taştığında bu bir vaka mıdır, iki mi? Üç cihaz kullanan bir kişi bir kez mi sayılır? Bunlar, birileri toplamın ne kadarını oluşturduklarını ölçene kadar uç durum gibi gelir.

Çift sayım nadiren bir sorgu hatası olarak gelir. İki kaynak toplandığında gelir — uygulama ile web sitesi, kendi kendine hizmet ile satış destekli, aynı çok uluslu müşteriyi ikisi de sahiplenen iki bölge — ve örtüşme fark edilmeyecek kadar küçük, bir kararı değiştirecek kadar büyüktür. Bir sayı kaynaklar üzerinden toplamsa, tanım örtüşmenin nasıl ele alındığını söylemek zorundadır; dürüst cevap "şu anda ele alınmıyor" olsa bile.

Saati sabitleyin

Tarih tek bir şey değildir. Bir olayın gerçekleştiği an, sistemlerinize ulaştığı an ve satırın yazıldığı ya da en son güncellendiği an vardır; bunların her biri üzerine kurulan raporlar birbiriyle çelişir. En görünür biçimde sınırlarda çelişirler — ki aylar ve çeyrekler tam orada okunur, hedefler tam orada yargılanır. Metriğin hangi zaman damgasını kullandığını, tablo yeniden kurulduğunda da ayakta kalacak biçimde söyleyin.

Saat dilimini de söyleyin ve her raporun izleyeninkini izlemesine izin vermek yerine şirketin tamamı için bir tane seçin. Bir olay daha eski bir olaya atfediliyorsa — bir satın alma bir kampanyaya, bir yenileme bir başlangıç kohortuna — o pencerenin uzunluğu tanımın parçasıdır; hesaplamayı yapan aracın içine gömülmüş bir ayar değil.

Sayının ne zaman kesinleştiğini söyleyin

Neredeyse hiçbir rakam ilk göründüğü gün tamamlanmış değildir. Ödemeler netleşir, iadeler düşer, bir kuyruk gece boyunca birikir, bir iş ortağı haftalık raporlar, çevrimdışı bir istemci yeniden bağlandığında eşitlenir. Bu yüzden herhangi bir grafiğin en yeni kovası daima en hafifidir ve her sabah taze bir pano okuyan ekip, yalnızca varışın şekli olan bir düşüşü görmeye devam eder.

Tanım bir olgunluk taşımalıdır: dönem kapandıktan ne kadar sonra rakamın kıpırdamayı bıraktığı ve sonradan gelen bir düzeltmenin ne kadar geriye uzanması beklendiği. Sonra tamamlanmamış dönemi gizlemek yerine tamamlanmamış olarak gösterin. Onu grafikten kırpmak alışıldık çözümdür ve tam da insanların sorduğu günleri kaldırır.

Hariç tuttuklarınızı adlandırın, çünkü tartışma onlardır

Gerçek her metrik bir şeyi hariç tutar: iç hesaplar, test verisi, otomatik trafik, çalışanlar, deneme ortamları, iadeler ve ters ibrazlar, iptal edilmiş siparişler, davranışı diğer herkesi bastıran tek bir devasa müşteri. Bu kararlar genellikle bir kez, sorgunun ilk sürümünü kim yazdıysa onun tarafından verilir ve sonra yıllarca, bir karar verildiğini hiç bilmemiş insanlar tarafından sessizce devralınır.

Onları açıkça listeleyin ve listeyi sayının okunduğu yerde tutun. Neyin dışarıda bırakıldığını bilen bir okuyucu, rakamın kendi sorusuna cevap verip vermediğine karar verebilir; bilmeyen okuyucu her şeyi kapsadığını varsayar ve bu varsayım gerçekten daima daha cömerttir. Aynısı örnekleme için de geçerlidir: rakam verinin tamamı yerine bir kısmından hesaplanıyorsa, bu bir ipucu balonuna değil tanıma aittir.

Tek bir sahip ve bir değişme yolu verin

Sahibi olmayan tanım çatallanan tanımdır. Her ana metrik için sorumlu bir kişi belirleyin — bir komite değil, talebi eline alan analist de değil — ve onu değiştirmeyi o kişinin kararı yapın. Sonra değiştiğinde geçmişe ne olacağını önceden anlaşın; çünkü zor kısım nadiren değişikliğin kendisidir.

Bir sayıyı yeniden ifade etmek meşrudur ve çoğu zaman doğrudur; bunu sessizce yapmak ise odanın güvenine mal olan şeydir. Düzeltilmiş bir tanım geçen çeyreğin rakamını oynatıyorsa ikisini de yayımlayın ve neyin değiştiğini söyleyin. Her ana metrikteki her değişiklik için tarihli bir günlük tutun. Sürdürmesi dakikalar alır ve aksi hâlde bir öğleden sonrayı yiyen soruyu cevaplar: sayı mı hareket etti, tanım mı?

Tanımı sayının olduğu yere koyun

Kimsenin açmadığı bir belgede yaşayan tanım işini yapmıyordur. Onu grafiğe iliştirin: popülasyonu, sayılan şeyi, saati, hariç tutulanları ve sahibi taşıyan tek bir cümle, tarif ettiği rakamın yanında görünür olsun. Araçlarınız bir metriğin bir kez tanımlanıp yeniden kullanılmasına izin veriyorsa daha da iyi — tanım sorguya ne kadar yakın durursa, onu birazcık farklı biçimde yeniden uygulama fırsatı o kadar azalır.

Bütün bunların işe yarayıp yaramadığının sınavı gerçekten uygulamaya değer. Farklı ekiplerden iki kişiden, yalnızca tanıma bakarak aynı sayıyı birbirinden bağımsız üretmelerini isteyin. Uyuşuyorlarsa bir tanımınız var demektir. Uyuşmuyorlarsa tanımın nerede belirsiz olduğunu bulmuşsunuz demektir — bunu bir alıştırmada keşfetmek, bir kararın ona dayandığı toplantıda keşfetmekten çok daha ucuzdur.