Ajan Yörüngesi

Yörünge, bir ajanın bir görev boyunca izlediği yolun tam kaydıdır: her model çağrısı, argümanlarıyla birlikte her araç kullanımı, dönen her sonuç ve nihai yanıt — sırasıyla. Bu, ajanların istek izine karşılık gelen kaydıdır ve değerlendirdiğiniz, ayıkladığınız, yeniden oynattığınız birimdir. Önemli olmasının nedeni, tek başına nihai yanıtın bir ajanı yargılamaya yetecek kanıt olmamasıdır. İki koşu aynı doğru çıktıyı üretebilir; ama biri üç araç çağırmışken diğeri on bir araç çağırmış, hata veren bir uç noktayı yeniden denemiş ve sonuca şansla varmış olabilir. Bunlardan yalnızca biri müşterinin önüne koyacağınız bir sistemdir. Tersinden bakınca, yanlış bir yanıt hatanın nerede olduğu hakkında hiçbir şey söylemez — kötü bir erişim mi, yanlış ayrıştırılmış bir araç sonucu mu, erken bir hatadan hiç dönemeyen bir plan mı — ve yörünge olmadan ekip tahmin yürütmek zorunda kalır. Pratik yörünge çalışmasının üç parçası vardır. Yakalama: argümanlar ve ham araç çıktıları dâhil tüm diziyi, her adımın süresi ve belirteç maliyetiyle birlikte günlüğe yazmak. Değerlendirme: yalnızca varış noktasını değil yolu da puanlamak; çünkü adım sayısı, araç seçim isabeti ve hatadan dönme davranışı üretimdeki maliyeti ve güvenilirliği önceden haber veren şeylerdir. Ve yeniden oynatma: saklanan bir yörüngenin değişmiş bir istem ya da yeni bir modelle yeniden çalıştırılabilmesine yetecek kadar kayıt tutmak — geçmiş olay yığınını bir regresyon takımına çeviren şey budur.