Yapay Zekâ Tarayıcısı

Yapay zekâ tarayıcısı, bir yapay zekâ şirketi tarafından işletilen ve açık web'den sayfa çeken otomatik istemcidir. Tek bir isim altında birbirinden hayli farklı üç iş toplanır: gelecekteki bir modeli eğitmek için metin toplamak, bir asistanın söylediğini güncel bir şeye dayandırabilmesi için yanıt anında sayfa çekmek ve kullanıcı sohbete bir bağlantı yapıştırdığı için tek bir sayfayı çekmek. Bu üçünü tek şey sayan yayıncılar genellikle vermek istemedikleri bir kararı vermiş olurlar. Ayrım işin bütün özüdür. Eğitim toplamasını engellemek, yazdıklarınızı bir sonraki modelin ağırlıklarının dışında tutar ve bir asistanın bugün canlı çekimle sizden alıntı yapmasına dair hiçbir şey yapmaz. Getirme amaçlı çekicileri engellemek tam tersini yapar: içeriğiniz halihazırda toplanmış eğitim derlemlerinde kalmaya devam ederken, insanların şu anda sorduğu sorulara verilen yanıtlardan silinirsiniz. Bunlar neredeyse zıt ödünleşmelerdir ve tek bir toptan kural, hangisini seçtiğini kazara belirler. Denetim, web'de her zaman işlediği gibi işler. Sağlayıcılar taradıkları kullanıcı aracısı (user-agent) dizgelerini yayımlar, sık sık iki kararın ayrı ayrı verilebilmesi için bunları amaca göre ayırır; siz de robots.txt içinde bu aracılara izin verir ya da vermezsiniz. Bu mekanizma tavsiye niteliğindedir: işletmecinin uymayı seçmesine bağlıdır, metninizin denetleyemediğiniz bir yerde yeniden yayımlanmasına dair hiçbir şey yapmaz ve gerçekten zorlamak istiyorsanız sunucu ya da uç katmanında kullanıcı aracısına veya adrese göre engellemek gerekir. Buradaki en hızlı değişen şey isimler ve belirteçlerdir; bu yüzden özeti aktaran bir blog yazısını değil, sağlayıcının kendi yayımladığı dokümanı okuyun ve dosyaya her döndüğünüzde yeniden okuyun. Artık kullanılmayan bir aracı dizgesine yazılmış bir kural, dışarıdan bakınca hiç kural yazmamaktan ayırt edilemez. Yapılandırmanın altında teknik olmayan ticari bir soru vardır. İçeriğiniz kendi sitenizde okunduğu için mi değerlidir, yoksa okur nerede olursa olsun kaynak gösterildiği için mi? Dokümantasyon, pazarlama sayfaları ve sözlükler genellikle ikinci gruptadır ve işi sayfa görüntülemesi olan bir yayıncı için yazılmış bir şablondan kopyalandığı için kazara engellenirler.