security
Sözlük ↗Veri Zehirleme (Data Poisoning)
Veri zehirleme, bir modeli öğrendiği kaynağı bozarak bozan bir saldırıdır. Saldırgan, eğitim verisine kötü amaçlı örnekler yerleştirir — kazınan web sayfaları, açık bir veri kümesi, kullanıcı geri bildirimleri ya da bir RAG sisteminin içine aldığı belgeler — böylece bitmiş model saldırganın seçtiği biçimlerde hatalı davranır. Çeşitleri: erişilebilirlik saldırıları (doğruluğu genel olarak düşürmek), hedefli saldırılar (belirli girdiler için tahminleri ters çevirmek) ve arka kapılar; gizli bir tetikleyici ifade yerleştirilen davranışı etkinleştirirken model her benchmark'ta normal görünür. Araştırmalar zehirlemenin şaşırtıcı derecede az sayıda belgeyle başarılı olabildiğini gösterdi; kullanıcı verisiyle ince ayar yapmak ya da üçüncü taraf içerik almak SaaS ekipleri için yaygın maruziyet noktalarıdır. Savunmalar mutlak değil katmanlıdır: eğitim kaynakları için köken (provenance) takibi, eğitim öncesi anomali filtreleme, temiz değerlendirme kümeleri ayırmak ve kullanıcı etkisindeki her derlemi — RAG dizininiz dahil — güvenilmez girdi saymak.
İlgili terimler