Prompt Kaydı

Prompt kaydı, bir modele gönderilen girdilerin ve döndürdüğü çıktıların saklanması pratiğidir; böylece davranış sonradan ayıklanabilir, değerlendirilebilir ve denetlenebilir. Ciddi bir yapay zekâ sisteminde bundan kaçınmak neredeyse imkânsızdır: kayıt olmadan yanlış bir yanıta dair şikâyet soruşturulamaz, gerçek trafikten bir değerlendirme kümesi kurulamaz ve bir maliyet ya da gecikme gerilemesi neyin değiştiğine kadar izlenemez. Aynı zamanda bir yapay zekâ özelliğinin sessizce hassas veri deposuna dönüştüğü noktadır. Promptlar, kullanıcının ya da getirme katmanının içine koyduğu ne varsa onu taşır: müşteri kayıtları, destek talepleri, belgeler, yanlışlıkla yapıştırılmış kimlik bilgileri. Dolayısıyla bir prompt kaydı, üründeki en hassas metnin bir kısmının kopyasıdır; veri sahipleri için değil mühendisler için tasarlanmış bir sistemde durur ve çoğu zaman bir gözlemlenebilirlik sağlayıcısına da çoğaltılır. Bunu katlanılır kılan denetimler sıradandır; bilinçli uygulanmaları gerekir. Kayıt yazılmadan önce maskeleyin, sonrasında değil; çünkü sonradan çalışan bir maskeleme adımı ham metni yine de aktarımda ve diskte bırakır. Savunulabilecek kadar kısa, işe yarayacak kadar uzun bir saklama süresi belirleyin ve bunu politika metniyle değil silmeyle uygulayın. Erişimi, altındaki veriyle aynı titizlikte kısıtlayın: bir müşterinin dosyasını açamayan destek temsilcisi, o dosyayı içeren bir promptu da okuyabilmemelidir. Neyin tam metin, neyin yalnızca üstveri olarak kaydedileceğine ayrıca karar verin. Jeton sayıları, model sürümü, gecikme, prompt sürümü, araç çağrıları ve bir iz kimliği operasyonel soruların çoğunu yanıtlar ve az kişisel veri taşır. Tam prompt ve çıktı metni, değerlendirmenin ve şikâyet incelemesinin ihtiyaç duyduğu şeydir; örneklenmesi, maskelenmesi ve senaryonun kaldırdığı en kısa süre boyunca tutulması gereken de odur. Bütün bunları kullanıcıların ve alıcıların okuyabileceği yerde yazın ve sağlayıcı tarafını da denetleyin: bir model satıcısının promptları saklayıp saklamadığı, ne kadar sakladığı ve bunların eğitimde kullanılıp kullanılmadığı sözleşmesel bir sorudur, çoğunda sıfır saklama yanıtı vardır ve kendi kayıtlarınızın ne yaptığından ayrıdır.