Uyuşmazlık Çözümü

Uyuşmazlık çözümü, aynı örneği etiketleyen iki kişinin anlaşamadığı bir vakayı karara bağlamak için tanımlanmış yordamdır. Uyuşma ölçümü bunun ne sıklıkta olduğunu söyler; uyuşmazlık çözümü ise bu konuda ne yaptığınızdır ve böyle bir yordamı olmayan bir etiketleme çalışması, sonunda dosyayı dışa aktaran kişi tarafından karara bağlanan tartışmalı satırlar biriktirir. Alışıldık mekanizmalar basittir. Üçüncü bir kişi, ilk iki yanıtı görmeden beraberliği bozar. Ya da kıdemli bir gözden geçiren karar verir ve nedenini kaydeder. Ya da iki asıl etiketleyici tartışıp ortak bir yanıta varır; bu daha yavaştır ama en iyi açıklamaları üretir. Bunların herhangi biri işe yarar; işe yaramayan şey, sessizce ilk etiketi almak ya da üçünün de tahmin yürüttüğü bir durumda üçte ikinin çoğunluğunu almaktır, çünkü ikisi de anlaşmazlığı çözmek yerine gizler. Önemli çıktı karara bağlanmış etiket değildir. Nedendir ve o nedenin ima ettiği yönerge değişikliğidir. Eğitimli iki kişinin farklı okuduğu bir vaka neredeyse her zaman yönergelerin kapsamadığı bir vakadır ve çözümü yönergelere yazmak, aynı türden sonraki yirmi örneğin de tartışmalı olmasını durduran şeydir. Yönergeler güncellenmeden karara bağlanmış bir küme, sonraki yığında aynı anlaşmazlıkları üretecektir ve oranın neden düzelmediğini kimse anlamayacaktır. Hangi satırların çözüm gerektirdiğinin kaydını tutun ve o listeyi görevin gerçekten zor olduğu yerlerin haritası sayın. Bu aynı zamanda ölçüt hakkında bir uyarıdır: bir kümenin büyük bir bölümü beraberlik bozma gerektirdiyse, üzerinde hesaplanan puanlara duyulan güven aritmetiğin ima ettiğinden düşük olmalıdır ve iki grubu ayrı raporlamak, birleştirmekten daha dürüsttür. Uyuşmazlık çözümünün bir vakayı hiç karara bağlayamadığında ne olacağına da önceden karar vermekte yarar var. Kimi örnekler gerçekten belirsizdir ve tek bir yanıt dayatmak, dürüst bir bilinmezi yanlış bir başvuruya çevirir. Böyle satırları gerekçesiyle birlikte dışarıda bırakıldı olarak işaretlemek, onları puanın dışında tutarken görev hakkında gösterdiklerini korur.

İlgili terimler

Daha fazla MLOps Süreçleri terimi