Bayatlamayan Bir Değerlendirme Kümesi Nasıl Kurulur?

Bu yazı neyle ilgili ve neyle değil

Bir yapay zekâ özelliğini ölçen ekiplerin çoğunda bir yerlerde bir sınama vakası kümesi vardır. Bir hafta içinde, toplanması kolay olan neyse ondan, o zamandan beri başka bir projeye geçmiş biri tarafından derlenmiştir ve işlem hattı her çalıştığında hâlâ bir sayı üretmektedir. O sayı, nitelik hakkında bir olgu sayılır. Genellikle ise, bir süre önce ürünü betimlemeyi bırakmış bir küme hakkında bir olgudur.

Bu yazı, veri ekibiniz yokken bir değerlendirmeyi nasıl çalıştıracağınız üzerine değildir; düzeneği ve puanlamanın ucuz sürümünü veri ekibi olmadan yapay zekâ çıktı niteliği nasıl değerlendirilir yazısı kapsar. Çok adımlı bir görevde bir etmeni yargılamak üzerine de değildir; onu bir yapay zekâ etmeninin gerçekten çalışıp çalışmadığı nasıl anlaşılır yazısı üstlenir. Bu yazı malzemenin kendisiyle ilgilidir: vakalar nereden gelir, onları temsil edici tutan nedir ve kümenin süresinin dolduğunu nereden bilirsiniz.

Zaten elinizde olan arızalardan başlayın

Bir küme kurmanın en kötü yolu bir odaya oturup örnek uydurmaktır. Uydurulmuş vakalar düzgün kurulmuş, açık ve kibardır; görevin kimsenin gerçekte göndermediği bir sürümünü ölçerler. En iyi ham madde, hâlihazırda topladığınız arızalardır: özellikle ilgili destek kayıtları, birinin şikâyet ettiği çıktılar, bir mühendisin bir kanala şuna bakın diye yapıştırdığı vakalar, bir insanın düzelttiği her şey.

Önce bunları alın ve bir şeye karar vermeden önce okuyun. Yüz gerçek arıza, kümenin neye ihtiyacı olduğunu size her türlü planlamadan daha iyi öğretir ve okurken yazdığınız ifadeler, sonradan sayarken kullanacağınız kategorilerin ilk taslağı olur.

Boyuta karar vermeden önce gruplara karar verin

Soru hiçbir zaman kaç vaka değildir; hangi türler ve her birinden kaç tane olduğudur. Hakkında ayrı bir karar vermek isteyeceğiniz grupları seçin — kesim, dil, belge türü, istek uzunluğu, zorluk, az önce bulduğunuz arıza kategorileri — ve her birinden, puanı kendi başına anlam taşıyacak kadar alın.

Bu, seyrek ve pahalı vakaları trafiğe göre bilerek fazla temsil eder; sorunları bulmak için doğru, tipik başarımı betimlemek için yanlıştır. Bu yüzden bileşimi kümenin yanında kaydedin ve canlı davranışı temsil eden bir rakam istediğinizde grupları gerçek oranlarına göre ağırlıklandırın. Bu alandaki en yaygın raporlama hatası, zor olsun diye kurulmuş bir kümenin ağırlıklandırılmamış ortalamasını aktarmaktır.

Doğrunun ne olduğunu yazın, sonra yazdığınızı sınayın

Hiçbir şeyi etiketlemeden önce yönergeleri yazın: iyi bir yanıt neyse odur, kategoriler arasında kalan durumlar nasıl ele alınır ve doğru yanıt gerçekten belirsizken ne yapılır. Sonra bir örneklemi iki kişiye birbirinden bağımsız verin ve karşılaştırın. Anlaşamadıkları yerde eksik olan bir kuraldır, insanlar özensiz değildir; düzeltme de bir konuşmaya değil yönergelere girer.

Belirsiz satırları zorlamak yerine saklayın. Dikkatli iki okurun farklı gördüğü bir vaka elinizdeki en öğretici satırdır ve onu tartışmalı olarak işaretlemek, iki yanıttan birini doğru diye dondurmaktan daha dürüsttür.

Kolay bir taban ve zor bir baş tutun

Bir kümenin iki yarısına da ihtiyacı vardır ve bunlar farklı işler görür. Kolay vakalar bir gerileme tabanıdır: temel bir şeyi bozan sürümü yakalayan onlardır ve değerleri tam da her zaman geçmeleri gerektiğidir. Zor vakalar ise iyileşmenin görünür olduğu ve iki aday yaklaşımın birbirinden ayrılabildiği yerdir.

Onları ayrı raporlayın. Birleştirildiğinde kolay çoğunluk ortalamaya egemen olur ve zor malzemedeki gerçek bir kazanç, güçbela kıpırdayan bir sayının içinde yok olur. Bu aynı zamanda kümenin bir tavana ulaştığının erken işaretidir: her şey geçer, yayılım çöker ve aydan aya farklar gürültüdür.

Onu üretimden takvimle besleyin

En hızlı açılan boşluğu kendi sürümleriniz yaratır. Her yeni yetenek hiç vakası olmadan hayata başlar; dolayısıyla ilk haftaları kendisinden önce gelen malzemeyle ölçülür ve risk en yüksekken puan güven verici kalır. Çare bir proje değil bir rutindir: sabit bir sıklıkla yakın tarihli gerçek girdilerden bir örneklem alın, kümenin karşılığı olmayanları ekleyin ve etiketleyin.

Aynı rutin, son seferden beri bulunan arızaların da ekleneceği yerdir. Kalıcı bir vakaya dönüşen bir şikâyet, sessizce yinelenemeyecek bir şikâyettir.

Onu ölçtüğü sistemden koruyun

Malzemeyi sistemin okuyamayacağı bir yerde tutun. Bu, vakalarını örnek olarak istemlere yapıştırmamak, sistemin içinden getirme yaptığı derlemenin onu içeren bir dışa aktarımla tazelenmesine izin vermemek ve herhangi bir eğitim ya da başvuru verisi derlendiğinde örtüşmeyi makineyle denetlemek demektir.

Ne kadar dikkatli olursanız olun, defalarca karşısında yineleme yaptığınız bir kümenin kısmen tükendiğini de kabul edin: puan tatmin edici olana kadar ayar yapmak, kümeye karşı ölçmek değil kümeye uydurmaktır. Nadiren bakılan bir bölümü ayrı tutun ki sistemin hiç nişan almadığı malzeme her zaman bulunsun.

Süresinin ne zaman dolduğunu bilin

İzlemeye değer üç işaret vardır. Her şey geçer ve yayılım çökmüştür. Yakın tarihli bir trafik dilimi, kümenin hiç örneği olmayan kategoriler içerir. Ya da yönergeler o kadar sık değiştirilmiştir ki eski satırlar artık geçerli olmayan kurallar altında etiketlenmiştir. Bunlardan herhangi biri, kümenin ürünün geride bıraktığı bir görevi betimlediği anlamına gelir.

Malzemeyi emekliye ayırmak olağandır ve dramatik değil rutin olmalıdır: sürümü saklayın, neyin değiştiğini not edin ve kümenin altından değiştiğini söylemeden sınırın iki yanındaki puanları karşılaştırmayın.

Bakımı yapılan bir küme neye benzer

Büyük değil. Birkaç yüz vaka, gruplanmış, bileşimi yanına yazılmış, birden çok kez gözden geçirilmiş kısa bir yönerge belgesi, hangi satırların tartışmalı olduğunun ve nedeninin notu ve üretim malzemesinin en son ne zaman eklendiğine dair bir tarih. Karşısında birinin adı ve takvimde yinelenen bir saat.

Uygulamanın tamamı budur ve kimsenin işi olmayacak kadar gösterişsizdir. Onu birine vermenin gerekçesi şudur: aşağı yöndeki her karar — bir değişikliğin işe yarayıp yaramadığı, bir özelliğin hazır olup olmadığı, bir tedarikçinin modelinin elinizdekinden iyi olup olmadığı — ancak bu malzeme kadar iyidir ve kimsenin bakımını yapmadığı bir küme, her zaman başarı gibi görünen bir yönde bozulur.