[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"guide-how-to-build-an-evaluation-set-that-does-not-go-stale::tr":3,"guide-related-how-to-build-an-evaluation-set-that-does-not-go-stale::tr":17},{"slug":4,"title":5,"excerpt":6,"body":7,"meta_title":5,"meta_description":8,"keywords":9,"category":15,"published_at":16,"updated_at":16},"how-to-build-an-evaluation-set-that-does-not-go-stale","Bayatlamayan Bir Değerlendirme Kümesi Nasıl Kurulur?","Değerlendirme kümelerinin çoğu bir kez, toplanması kolay olan neyse ondan derlenir ve sonra sessizce işi temsil etmeyi bırakır. Zaten elinizde olan arızalardan bir küme nasıl kurulur, üretimden nasıl beslenir, ölçtüğü sistemden nasıl korunur ve ne zaman süresinin dolduğu nasıl anlaşılır.","\u003Ch2>Bu yazı neyle ilgili ve neyle değil\u003C\u002Fh2>\n\u003Cp>Bir yapay zekâ özelliğini ölçen ekiplerin çoğunda bir yerlerde bir sınama vakası kümesi vardır. Bir hafta içinde, toplanması kolay olan neyse ondan, o zamandan beri başka bir projeye geçmiş biri tarafından derlenmiştir ve işlem hattı her çalıştığında hâlâ bir sayı üretmektedir. O sayı, nitelik hakkında bir olgu sayılır. Genellikle ise, bir süre önce ürünü betimlemeyi bırakmış bir küme hakkında bir olgudur.\u003C\u002Fp>\n\u003Cp>Bu yazı, veri ekibiniz yokken bir değerlendirmeyi nasıl çalıştıracağınız üzerine değildir; düzeneği ve puanlamanın ucuz sürümünü veri ekibi olmadan yapay zekâ çıktı niteliği nasıl değerlendirilir yazısı kapsar. Çok adımlı bir görevde bir etmeni yargılamak üzerine de değildir; onu bir yapay zekâ etmeninin gerçekten çalışıp çalışmadığı nasıl anlaşılır yazısı üstlenir. Bu yazı malzemenin kendisiyle ilgilidir: vakalar nereden gelir, onları temsil edici tutan nedir ve kümenin süresinin dolduğunu nereden bilirsiniz.\u003C\u002Fp>\n\u003Ch2>Zaten elinizde olan arızalardan başlayın\u003C\u002Fh2>\n\u003Cp>Bir küme kurmanın en kötü yolu bir odaya oturup örnek uydurmaktır. Uydurulmuş vakalar düzgün kurulmuş, açık ve kibardır; görevin kimsenin gerçekte göndermediği bir sürümünü ölçerler. En iyi ham madde, hâlihazırda topladığınız arızalardır: özellikle ilgili destek kayıtları, birinin şikâyet ettiği çıktılar, bir mühendisin bir kanala şuna bakın diye yapıştırdığı vakalar, bir insanın düzelttiği her şey.\u003C\u002Fp>\n\u003Cp>Önce bunları alın ve bir şeye karar vermeden önce okuyun. Yüz gerçek arıza, kümenin neye ihtiyacı olduğunu size her türlü planlamadan daha iyi öğretir ve okurken yazdığınız ifadeler, sonradan sayarken kullanacağınız kategorilerin ilk taslağı olur.\u003C\u002Fp>\n\u003Ch2>Boyuta karar vermeden önce gruplara karar verin\u003C\u002Fh2>\n\u003Cp>Soru hiçbir zaman kaç vaka değildir; hangi türler ve her birinden kaç tane olduğudur. Hakkında ayrı bir karar vermek isteyeceğiniz grupları seçin — kesim, dil, belge türü, istek uzunluğu, zorluk, az önce bulduğunuz arıza kategorileri — ve her birinden, puanı kendi başına anlam taşıyacak kadar alın.\u003C\u002Fp>\n\u003Cp>Bu, seyrek ve pahalı vakaları trafiğe göre bilerek fazla temsil eder; sorunları bulmak için doğru, tipik başarımı betimlemek için yanlıştır. Bu yüzden bileşimi kümenin yanında kaydedin ve canlı davranışı temsil eden bir rakam istediğinizde grupları gerçek oranlarına göre ağırlıklandırın. Bu alandaki en yaygın raporlama hatası, zor olsun diye kurulmuş bir kümenin ağırlıklandırılmamış ortalamasını aktarmaktır.\u003C\u002Fp>\n\u003Ch2>Doğrunun ne olduğunu yazın, sonra yazdığınızı sınayın\u003C\u002Fh2>\n\u003Cp>Hiçbir şeyi etiketlemeden önce yönergeleri yazın: iyi bir yanıt neyse odur, kategoriler arasında kalan durumlar nasıl ele alınır ve doğru yanıt gerçekten belirsizken ne yapılır. Sonra bir örneklemi iki kişiye birbirinden bağımsız verin ve karşılaştırın. Anlaşamadıkları yerde eksik olan bir kuraldır, insanlar özensiz değildir; düzeltme de bir konuşmaya değil yönergelere girer.\u003C\u002Fp>\n\u003Cp>Belirsiz satırları zorlamak yerine saklayın. Dikkatli iki okurun farklı gördüğü bir vaka elinizdeki en öğretici satırdır ve onu tartışmalı olarak işaretlemek, iki yanıttan birini doğru diye dondurmaktan daha dürüsttür.\u003C\u002Fp>\n\u003Ch2>Kolay bir taban ve zor bir baş tutun\u003C\u002Fh2>\n\u003Cp>Bir kümenin iki yarısına da ihtiyacı vardır ve bunlar farklı işler görür. Kolay vakalar bir gerileme tabanıdır: temel bir şeyi bozan sürümü yakalayan onlardır ve değerleri tam da her zaman geçmeleri gerektiğidir. Zor vakalar ise iyileşmenin görünür olduğu ve iki aday yaklaşımın birbirinden ayrılabildiği yerdir.\u003C\u002Fp>\n\u003Cp>Onları ayrı raporlayın. Birleştirildiğinde kolay çoğunluk ortalamaya egemen olur ve zor malzemedeki gerçek bir kazanç, güçbela kıpırdayan bir sayının içinde yok olur. Bu aynı zamanda kümenin bir tavana ulaştığının erken işaretidir: her şey geçer, yayılım çöker ve aydan aya farklar gürültüdür.\u003C\u002Fp>\n\u003Ch2>Onu üretimden takvimle besleyin\u003C\u002Fh2>\n\u003Cp>En hızlı açılan boşluğu kendi sürümleriniz yaratır. Her yeni yetenek hiç vakası olmadan hayata başlar; dolayısıyla ilk haftaları kendisinden önce gelen malzemeyle ölçülür ve risk en yüksekken puan güven verici kalır. Çare bir proje değil bir rutindir: sabit bir sıklıkla yakın tarihli gerçek girdilerden bir örneklem alın, kümenin karşılığı olmayanları ekleyin ve etiketleyin.\u003C\u002Fp>\n\u003Cp>Aynı rutin, son seferden beri bulunan arızaların da ekleneceği yerdir. Kalıcı bir vakaya dönüşen bir şikâyet, sessizce yinelenemeyecek bir şikâyettir.\u003C\u002Fp>\n\u003Ch2>Onu ölçtüğü sistemden koruyun\u003C\u002Fh2>\n\u003Cp>Malzemeyi sistemin okuyamayacağı bir yerde tutun. Bu, vakalarını örnek olarak istemlere yapıştırmamak, sistemin içinden getirme yaptığı derlemenin onu içeren bir dışa aktarımla tazelenmesine izin vermemek ve herhangi bir eğitim ya da başvuru verisi derlendiğinde örtüşmeyi makineyle denetlemek demektir.\u003C\u002Fp>\n\u003Cp>Ne kadar dikkatli olursanız olun, defalarca karşısında yineleme yaptığınız bir kümenin kısmen tükendiğini de kabul edin: puan tatmin edici olana kadar ayar yapmak, kümeye karşı ölçmek değil kümeye uydurmaktır. Nadiren bakılan bir bölümü ayrı tutun ki sistemin hiç nişan almadığı malzeme her zaman bulunsun.\u003C\u002Fp>\n\u003Ch2>Süresinin ne zaman dolduğunu bilin\u003C\u002Fh2>\n\u003Cp>İzlemeye değer üç işaret vardır. Her şey geçer ve yayılım çökmüştür. Yakın tarihli bir trafik dilimi, kümenin hiç örneği olmayan kategoriler içerir. Ya da yönergeler o kadar sık değiştirilmiştir ki eski satırlar artık geçerli olmayan kurallar altında etiketlenmiştir. Bunlardan herhangi biri, kümenin ürünün geride bıraktığı bir görevi betimlediği anlamına gelir.\u003C\u002Fp>\n\u003Cp>Malzemeyi emekliye ayırmak olağandır ve dramatik değil rutin olmalıdır: sürümü saklayın, neyin değiştiğini not edin ve kümenin altından değiştiğini söylemeden sınırın iki yanındaki puanları karşılaştırmayın.\u003C\u002Fp>\n\u003Ch2>Bakımı yapılan bir küme neye benzer\u003C\u002Fh2>\n\u003Cp>Büyük değil. Birkaç yüz vaka, gruplanmış, bileşimi yanına yazılmış, birden çok kez gözden geçirilmiş kısa bir yönerge belgesi, hangi satırların tartışmalı olduğunun ve nedeninin notu ve üretim malzemesinin en son ne zaman eklendiğine dair bir tarih. Karşısında birinin adı ve takvimde yinelenen bir saat.\u003C\u002Fp>\n\u003Cp>Uygulamanın tamamı budur ve kimsenin işi olmayacak kadar gösterişsizdir. Onu birine vermenin gerekçesi şudur: aşağı yöndeki her karar — bir değişikliğin işe yarayıp yaramadığı, bir özelliğin hazır olup olmadığı, bir tedarikçinin modelinin elinizdekinden iyi olup olmadığı — ancak bu malzeme kadar iyidir ve kimsenin bakımını yapmadığı bir küme, her zaman başarı gibi görünen bir yönde bozulur.\u003C\u002Fp>","Değerlendirme kümesini gerçek arızalardan kurun, katmanlayın, üretimden besleyin, sızıntıdan koruyun ve ayırt etmeyi bıraktığında emekliye ayırın.",[10,11,12,13,14],"değerlendirme kümesi","yapay zekâ niteliği","sınama verisi","model değerlendirme","referans doğru","how-to","2026-09-09T03:30:02+00:00",[18,23,27,31,36,41],{"slug":19,"title":20,"excerpt":21,"updated_at":22},"ai-tool-pricing-models-seat-vs-usage-vs-credits","Yapay Zekâ Araçlarında Fiyatlandırma Modelleri: Kullanıcı Başına, Kullanıma Dayalı ve Kredili","Yapay zekâ araçlarının ücret aldığı üç yaygın yöntem — kullanıcı başına, kullanıma göre ve kredili — ve ekibinizin çalışma biçimi için hangisinin gerçekten daha ucuza geleceğini nasıl değerlendireceğiniz.","2026-08-05T14:32:26+00:00",{"slug":24,"title":25,"excerpt":26,"updated_at":22},"how-ai-image-generators-differ-diffusion-vs-the-rest","Yapay Zeka Görsel Üreticileri Arasındaki Farklar: Diffusion ve Diğerleri, Sade Bir Dille","Yapay zeka görsel üreticilerinin nasıl çalıştığına, diffusion yaklaşımının neden baskın hale geldiğine ve araçlar arasında pratikte hangi farkları beklemeniz gerektiğine dair teknik olmayan bir açıklama.",{"slug":28,"title":29,"excerpt":30,"updated_at":22},"how-to-automate-your-workflow-without-code","Kod Yazmadan İş Akışınızı Nasıl Otomatikleştirirsiniz","Ayakta kalan otomasyonlar kurmak için pratik bir sıra: doğru süreci seçmek, bir araca dokunmadan önce haritalamak ve ilk denemelerin çoğunu bozan hata durumlarını ele almak.",{"slug":32,"title":33,"excerpt":34,"updated_at":35},"how-to-build-a-chatbot-without-coding","Kod Yazmadan Chatbot Nasıl Kurulur","Kodsuz araçlarla çalışan bir chatbot'a giden pratik bir yol: kapsama karar vermek, kendi içeriğinizi bağlamak, yanıtlayamadığı soruları ele almak ve maliyetini bilmek.","2026-08-05T14:32:27+00:00",{"slug":37,"title":38,"excerpt":39,"updated_at":40},"how-to-change-a-prompt-without-breaking-production","Üretimi Bozmadan Bir Prompt Nasıl Değiştirilir","Promptlar bir metin kutusunda düzenlenip saniyeler içinde yayına alınır; sessizce bir şeyleri bozmalarının nedeni budur: derleyici yok, yığın izi yok, bariz bir arıza anı yok. Onlara koddaki sürüm disiplinini verin.","2026-08-24T03:30:02+00:00",{"slug":42,"title":43,"excerpt":44,"updated_at":22},"how-to-choose-an-ai-writing-assistant","Yapay Zeka Yazı Asistanı Nasıl Seçilir?","Bir yapay zeka yazı aracı seçmek için pratik bir çerçeve — aracı gerçekte yaptığınız yazı işiyle eşleştirmek, düzenleme kontrollerini sınamak ve kendinden emin ama sıradan metin üreten araçlardan kaçınmak."]