llms.txt

llms.txt önerilmiş bir uzlaşımdır: alan adının kökünde sunulan ve bir dil modelinin siteyi anlamak için okuması gereken sayfaları, her birinin yanına tek satırlık bir açıklama koyarak listeleyen, isteğe bağlı olarak da bu sayfaların sade Markdown sürümlerine bağlantı veren bir Markdown dosyası. Konumunu ve ruhunu robots.txt'den ödünç alır, ama bir kısıtlama değil bir davettir — dışlama listesi yerine derlenmiş bir okuma listesi. Yanıt verdiği sorun yeterince gerçek. Bir pazarlama sitesini ham HTML üzerinden okuyan bir model, işe yarar tek bir cümleye ulaşmadan önce sınırlı bağlamını gezinme menülerine, çerez bildirimlerine, betik etiketlerine ve kalıp metinlere harcar. Bir dokümantasyon sitesine düşen bir getirme istemcisinin, iki bin adresten hangi yirmisinin gerçekten önemli olduğunu bilmesinin bir yolu yoktur. Kısa ve elle derlenmiş bir dizin, bunu söylemenin ucuz yoludur. Bu bir uzlaşımdır, standart değildir ve fark önemlidir. Robots protokolünün parçası değildir, hiçbir arama motoru onu bir yönerge olarak işlemez ve yayıncı, dosyayı herhangi bir şeyin okuyup okumadığını dışarıdan doğrulayamaz. Dosyayı, derlemenin kendi başına faydalı olduğu için yayımlayın — kendi geliştirdiğiniz ajanlar ve insanlar için de bir yönlendirme sayfası işlevi görür — var olduğu için tüketildiği varsayımıyla değil. İyi bir llms.txt'i süs olandan ayıran şey bakımdır. Kısa, dürüst ve mümkün olduğunca gezinme yapınızla ya da site haritanızla aynı kaynaktan üretilmiş olmalıdır. Siteyi lansman günündeki hâliyle anlatan bir liste, hiç liste olmamasından kötüdür; çünkü onu okuyan şeyin listenin bayatladığını anlamasının yolu yoktur ve sayfayı değil açıklamayı alıntılar. Erişim denetimi ya da güvenlik sınırı değildir. Yalnızca zaten herkese açık adresleri listeleyin, birebir alıntılanmasından rahatsız olacağınız hiçbir şeyi içine koymayın ve bir şeyi gizlemek için kullanmayın — tahmin edilebilir bir yoldaki dosya, meraklı birinin çekeceği ilk şeydir.