Referans Doğru

Referans doğru, bir sistemin çıktısının karşısında puanlandığı başvuru yanıtıdır — bu vaka için doğru sonucun ne olduğunu söyleyen etiket. Terim, ana kaya gibi keşfedilmiş bir şeyi ima eder; oysa hakkında bilinmeye en değer şey imal edilmiş olmasıdır. Birileri, bir yönerge kümesi altında, belirli bir zamanda karar vermiştir ve sonradan raporladığınız puan, o kararın bütün özelliklerini devralır. Dar bir görev için imalat tartışmasızdır: bir fatura toplamı ya faturayla uyuşur ya uyuşmaz ve dikkatli iki kişi aynı fikirde olur. Bir yapay zekâ özelliğinin gerçekte yapması istenen işlerin çoğu içinse böyle değildir. O özet sadık mıydı? O yanıt, sinirli bir müşteriye uygun muydu? İleti gerçekten iki niyet barındırıyorken o sınıflandırma doğru olan mıydı? Bunların birkaç savunulabilir yanıtı vardır ve bir küme yanıt doğru olarak dondurulduğu anda, anlaşmazlık görünür olmaktan çıkıp hata olarak sayılmaya başlar. Bunun eyleme geçirilmeye değer üç sonucu vardır. Kimin, yönergelerin hangi sürümü altında karar verdiğini kaydedin; çünkü etiket tarihli bir yargıdır ve yönergeler değişir. Anlaşmazlıkları atmak yerine saklayın; eğitimli insanların ikiye ayrıldığı vakalar kümedeki en öğretici satırlardır ve ortalamayla silmek, görevin gerçekte nerede belirsiz olduğunu söyleyecek malzemeyi tam olarak kaldırır. Ve düşük bir puanın temsil edebileceği iki farklı arızayı ayırın; çünkü yanlış işaretlenmiş bir sistem, makul bir kişinin kabul edeceği bir yanıt üretmiş, başvuru ise bir başkasını kaydediyor olabilir. Doğrunun tartışmalı olduğu yerde bunu dipnotta değil sayfada söyleyin ve belirsiz vakaları tek savunulabilir yanıtı olanlardan ayrı raporlayın. Aynı ihtiyat, bir başvuru kümesi dışarıdan geldiğinde de geçerlidir. Bir başkasının kurduğu küme, onun yönergelerini, uç durum kararlarını ve bunların verildiği anı kodlar; hiçbiri dosyada görünmez. Dolayısıyla onunla yapılacak ilk yararlı iş, kendi ekibinizden iki kişiye bir örneklem etiketletip kümeyle aynı fikirde olup olmadıklarına bakmaktır.