Bir Yapay Zeka Özelliği Yanlış Yaptığında Ne Yapmalı?

Farklı türden bir bozulma

Sıradan yazılım gürültüyle bozulur. Bir istek hata fırlatır, bir sayfa çöker, bir izleyici tetiklenir ve biri çağrılır. Bir yapay zeka özelliği sessizce bozulur: akıcı, düzgün biçimlendirilmiş, tümüyle akla yatkın ama yanlış bir yanıt döndürür. Yanıtta onu doğrusundan ayıran hiçbir şey yoktur, hiçbir istisna oluşmaz ve ilk sinyal genellikle ona göre hareket etmiş bir müşteridir. Bu farkı tasarlamak işin tamamıdır, çünkü her yanlış yanıtı önleyemezsiniz ama biri oluştuğunda ne olacağına karar verebilirsiniz.

Yanlış bir yanıtın maliyetine önceden karar verin

Her şeyden önce özelliği sonucuna göre sınıflandırın. Bir insanın okuyup düzenleyeceği bir mesajın ilk taslağını yazmak düşük risklidir — hatalar zaten döngüdeki kişi tarafından yakalanır. Birinin denetlemeden hareket edeceği bir belgeyi özetlemek daha yüksektir. Bir mesaj göndermek, bir kaydı değiştirmek, bir iade yapmak ya da doğrudan bir müşteriye yanıt vermek daha da yüksektir. Bunu izleyen tasarım bu kategoriler arasında keskin biçimde farklılaşmalıdır ve en yaygın ürün hatası hepsine aynı etkileşim örüntüsünü uygulamaktır.

Hatanın yakalanabileceği biçimde tasarlayın

Birkaç örüntü hataları soğurulmuş değil görünür kılar. Kaynağı gösterin: bir yanıt getirilen belgelerden geldiyse onları bağlayın ki okuyan kişi cümleye güvenmek yerine iddiayı tek tıkla denetleyebilsin. Eylem geri alınamaz olduğunda insanı döngüde tutun — bir eylemi onaya sunmak, onu yapmaktan farklı bir üründür. Mümkün olan yerde çıktıyı yapılandırın, çünkü bir şema düzyazının yalnızca umut etmenize izin verdiği şeyi mekanik olarak doğrulamanızı sağlar. Ve sistemin ne bilmediğini söyleyin: kapsamı dışında yanıt vermeyi reddeden bir özellik, her zaman bir şey üreten bir özellikten çok daha değerlidir.

Belirsizliği ifade etmek özen ister. Her yanıtta muğlak çekinceler, insanlara onu yok saymayı öğretir. Sistemin tasarlandığı durumlarla tasarlanmadığı durumları net biçimde ayırmak ve ikincisinde görünür biçimde durmak daha yararlıdır.

Biri müşteriye ulaştığında

Bunu diğer her olayda kullanacağınız adımlarla bir olay olarak ele alın. Hiçbir şey değişmeden önce tam girdiyi, tam çıktıyı ve işin içindeki her şeyin sürümünü — istem, model, getirilen bağlam — yakalayın; çünkü bunları sonradan yeniden kurmak zordur ve aynı istem aynı yanıtı üretmeyebilir. Müşteriye ne olduğunu ve neyi etkilediğini açıkça söyleyin; bir yapay zeka özelliğinin yanlış yapması 2026'da kimseyi şaşırtmaz, ama bunun bilindiğini ve söylenmediğini keşfetmek şaşırtır.

Sonra istemi değiştirmeden önce gerçek nedeni bulun. Yanlış yanıtın kaynağı eksik bağlam, yanlış pasajı getiren bir erişim, belirsiz bir yönerge, özelliğin hiç karşılamayı amaçlamadığı bir girdi ya da gerçekten bayatlamış kaynak verisi olabilir. Her birinin çaresi farklıdır ve refleks olarak istem düzenlemek hatayı gidermek yerine yerini değiştirme eğilimindedir.

Olayı kapsama çevirin

Her gerçek hata kalıcı bir sınama durumuna dönüşmelidir: tam girdi, doğru yanıtı yazılmış olarak değerlendirme kümenize eklenir. Bu, sahip olacağınız en ucuz güvenilir sınama verisi kaynağıdır, çünkü hayal ettiğinizden değil gerçekte bozulandan çıkarılmıştır. Bir yıl içinde bu küme, model ve istem değiştirmenizi korkusuz kılan şey haline gelir ve yalnızca ona eklemek olayı kapatmanın parçasıysa birikir.

Kullanıcılara baştan ne söylemeli?

Özelliğin yapay zeka üretimi olduğunu söyleyin, neye yaradığını söyleyin ve yanlış olabileceğini, önemli yerlerde denetlenmesi gerektiğini açıkça söyleyin. Bu hukuki bir formalite değildir — tek bir kötü yanıtın omuz silkmeyle mi yoksa güven ihlaliyle mi karşılanacağını belirleyen beklentiyi kurar. İnsanlara kötü bir çıktıyı bildirmenin apaçık bir yolunu verin ve bu bildirimlerin birine ulaştığından emin olun; çünkü hiçbir yere gitmeyen bir geri bildirim denetimi yokluğundan kötüdür: ihtiyacınız olan kanıtı toplar ve çöpe atar.