Değerlendirmeniz ile Kullanıcılarınız Anlaşamadığında Ne Yapmalı?

Durum

Değerlendirme haftalık çalışıyor ve puan rahat. Bu sırada destek aynı özellikle ilgili şikâyetler biriktiriyor, bir müşteri yöneticisi üç örnek iletmiş ve kıdemli biri cümlesine ben de denedim ve diye başlamış. İki kanıt kaynağı çelişiyor ve odadaki içgüdü, savunması daha kolay olanı savunmak; o da sayıdır, çünkü kesindir, tekrarlanabilir ve bir grafiği vardır.

Bu yazı, tek bir kötü çıktı ve sonrasındaki bir saat üzerine değildir; onu bir yapay zekâ özelliği bir şeyi yanlış yaptığında ne yapılır yazısı kapsar. Beklenmedik biçimde hareket eden bir iş ölçütü üzerine de değildir; onu bir rakamın gerçekten hareket edip etmediği nasıl anlaşılır yazısı işler. Buradaki, çevrimdışı bir ölçüm ile yaşanan deneyim arasındaki sürekli bir anlaşmazlıktır ve bir sıkıntı değil bir bulgu olarak ele alınmaya değer: insanların önemsediği şey olmayan bir şey ölçülmektedir ve bu, düzeltilebilir ve oldukça belirli bir sorundur.

Kullanıcıların haklı olduğunu varsayarak başlayın

Nezaketten değil. Daha ucuz hipotez odur. Bir değerlendirme, görevin bir modelidir; modeller sayılabilir biçimlerde yanılır ve bu biçimlerin listesi bir öğleden sonrada gözden geçirilecek kadar kısadır. Alternatif hipotez ise — ürünü her gün kullanan bir grup insanın kendi deneyimleri konusunda topluca yanıldığı — araştırması pahalıdır ve ilk dile getirildiği biçimiyle neredeyse hiç doğru değildir.

Aşağıdaki denetimler, ne kadar gurur okşayıcı olduklarına göre değil, ne sıklıkta yanıt çıktıklarına göre sıralanmıştır.

Ölçtüğünüz şeyden mi şikâyet ediyorlar?

Bu en yaygın çözümdür ve gözden kaçırması en kolay olandır. Gerçek şikâyetleri okuyun ve her birinin neyle ilgili olduğunu yazın. Çoğu zaman ölçü, çıktının doğru olup olmadığını sorar; şikâyetler ise bambaşka bir şeyle ilgilidir: çok uzun sürmüştür, üslup duruma uygun değildir, biçim yapıştırıldığı akışı bozmuştur, sorulandan daha dar bir soruyu yanıtlamıştır, doğrudur ama kullanıcının gidip bulması gereken bağlam olmadan işe yaramazdır.

Bunların her biri yüksek bir doğruluk puanıyla süresiz olarak bir arada yaşayabilir, çünkü ölçümdeki hiçbir şey onları sormaz. Çözüm tartışmak değil, eksik olanı ölçüye eklemek ya da yanına ikinci bir ölçüm koyup ikisini birden raporlamaktır.

Küme onların vakalarını hiç içeriyor mu?

Şikâyetleri alın ve değerlendirme malzemesinde karşılıklarını arayın. Şaşırtıcı sıklıkla hiç yoktur: şikâyet eden kullanıcılar, kümenin hiç kurulmadığı bir kesimde, dilde, sektörde ya da boyut bandındadır; ya da küme derlendikten sonra yayımlanmış bir yeteneği çalıştırmaktadırlar.

Bu türden bir boşluk hiçbir zaman bir arıza olarak görünmez. Sistem o malzeme üzerinde sınanmaz; dolayısıyla puan yüksek kalırken tam da mutsuz olan kitle hakkında sessizdir. Yanıt buysa sayı yanlış değildi; kimsenin fark ettiğinden daha dar bir soruyu yanıtlıyordu.

Puanlayıcı insanlarla aynı fikirde mi?

Kullanıcıların şikâyet ettiği çıktılardan bir avuç alın ve işlem hattında nasıl çalışıyorsa tam olarak öyle puanlayın. Sonra ne dediğine bakın. Puanlayıcı, bir kişinin açıkça itiraz ettiği çıktıları geçiriyorsa sorunu bulmuşsunuzdur ve sorun sistemde değil ölçümdedir.

Bu sıradan nedenlerle olur. Erken yazılmış bir ölçü, o zamandan beri önemli hâle gelmiş bir konuda hoşgörülüdür. Bir puanlama adımı bir olgunun varlığını denetler ama yanında uydurulmuş bir olgunun varlığını denetlemez. Otomatik bir puanlayıcı, kendinden emin ve düzgün kurulmuş her şeye katılır. Neden ne olursa olsun, kullanıcılarınızla çelişen bir puanlayıcı tarafsız bir aygıt değildir ve onun ürettiği bütün geçmiş sayılar aynı hoşgörüyü devralır.

Puan gerçek mi?

Dört hızlı denetim; her biri tek başına aradaki farkın tamamını açıklamışlığı vardır. İşlem hattı gerçekten dağıtılmış olan sürümü mü değerlendiriyor, yoksa son birkaç değişiklikten öncekini mi? Değerlendirme vakalarından herhangi biri sisteme sızmış mı — istem malzemesinde örnek olarak kullanılmış ya da bir başvuru derlemesine süpürülmüş olabilir — yani küme karşısında ölçüm mü yapılıyor, yoksa ona uydurma mı? Küme bir tavana çarpmış ve her şey geçtiği için puan kıpırdayamaz hâle mi gelmiş? Ve hiçbir şey değiştirilmediğinde sayı ne kadar oynuyor; çünkü tartıştığınız farktan daha çok zıplayan rahat bir puan hiçbir şeyin kanıtı değildir.

Şikâyet yoğunlaşmış mı?

Mutsuzluğun geniş mi yoksa tek bir yerde mi olduğunu denetleyin. Yoğunlaşma onu geçiştirmek için bir gerekçe değildir. Bir kesim, kullanımın küçük bir bölümü olup yine de en büyük sözleşmeleri yenileyen, kamuya açık konuşan ya da hatanın can sıkıcı değil pahalı olduğu kesim olabilir.

Yoğunlaşmanın size söylediği şey, bundan sonra nasıl raporlayacağınızdır. Bir grup esaslı biçimde farklı bir deneyim yaşıyorsa, herkesin ortalaması bunu gizlemeyi sürdürecektir; dürüst sunum, o grubun sayısını genel sayının içine katmak değil yanına koymaktır.

Yanıtla ne yapılır

Hangi denetim çözerse çözsün, döngüyü aynı biçimde kapatın: şikâyetleri kümede kalıcı vakalara dönüştürün ki bu belirli arıza, ölçüm fark etmeden yinelenemesin. Ölçüyü güncelleyin ya da şikâyetlerin ima ettiği ikinci ölçümü ekleyin. Etkilenen kesimi ayrı raporlayın. Ve bir kez, yüksek sesle, önceki sayının herkesin sandığından daha dar bir şeyi ölçtüğünü söyleyin; çünkü sessiz bir düzeltme, aynı yanlış anlamayı bir grafiği okuyacak bir sonraki kişiye açık bırakır.

Hangi denetimin çözdüğünü yazmakta da yarar var, çünkü aynı boşluk aynı nedenle yeniden açılır. Bir kez kapsam boşluğu bulmuş bir ekip, bir sonraki kesim ya da yetenek geldiğinde bir tane daha bulacaktır; önce kapsamı denetledik ve sorun oydu diyen bir not, sonraki incelemeyi bir öğleden sonradan on dakikaya indirir.

Kaçınılacak tek hamle

Anlaşmazlığı, ölçümü puanla uyuşana kadar ayarlayarak çözmeyin. Bir eşiği yükseltmek, kümeden zor bir kategoriyi düşürmek ya da rastgele daha iyi görünen bir ölçüte geçmek; hepsi elinizin altındadır, hepsi hızlıdır ve her biri çözülebilir bir ölçüm sorununu çözülemez bir güven sorununa çevirir. Değerlendirmenin amacı, sizinle tartışan şey olmaktı.