Değişiklik Veri Yakalama (CDC)

Değişiklik Veri Yakalama (CDC), bir kaynak veritabanındaki satır bazlı değişiklikleri — ekleme, güncelleme, silme — tespit edip bunları diğer sistemlere neredeyse gerçek zamanlı akıtan bir tekniktir. Tabloyu belirli aralıklarla baştan sorgulamak yerine CDC genellikle veritabanının işlem günlüğünü (örneğin Postgres WAL veya MySQL binlog) okur; böylece her değişikliği kaynağa yük bindirmeden yakalar. SaaS geliştiricileri için CDC, analiz ambarınızı, arama dizininizi ya da önbelleğinizi ağır toplu işler olmadan üretim veritabanınızla senkron tutan şeydir. Debezium, Fivetran ve Airbyte gibi araçlar bu tekniğe dayanır. Olay tabanlı mimarilerin ve reverse-ETL akışlarının belkemiğidir. Pratik not: Günlük tabanlı CDC, sorgu tabanlı yoklamaya göre çok daha hafiftir; ancak yükseltilmiş veritabanı izinleri ister ve şema değişikliklerinin dikkatli yönetilmesini gerektirir. Sıralama ve idempotentliği de planlayın: aynı olay birden fazla kez gelebilir, dolayısıyla tüketiciler tekrarlara dayanıklı olmalıdır. Postgres'te replikasyon slotunun büyümesine dikkat edin; çevrimdışı bir tüketici diskinizi sessizce şişirebilir.