Data Mesh

Data mesh, analitik veri mimarisine yönelik, veri sahipliğini tek bir merkezî ekipten o veriyi üreten alan ekiplerine taşıyan ve bu ekiplerin her birinden verisini belgelenmiş bir arayüzü, adı konmuş bir sahibi ve bir hizmet seviyesi olan bir ürün olarak yayımlamasını isteyen bir yaklaşımdır. Öncelikle örgütsel bir tasarımdır; altındaki teknoloji büyük ölçüde merkezî kurulumlarda kullanılan aynı ambarlar, göller ve hatlardır. Yanıt verdiği sorun, merkezî veri ekibinin belirli bir çökme biçimidir. Şirket büyüdükçe bu ekip bir darboğaza dönüşür: anlamadığı alanlara ait hatların sahibi olur, birikmiş işi kadrosundan hızlı büyür ve bir kaynak sistem değiştiğinde kimse ona haber vermez, çünkü üreten ekip o hattın varlığından habersizdir. Kalite, çabayla değil yapıyla ilgili bir biçimde düşer: veriyi anlayan insanlar, ondan sorumlu olan insanlar değildir. Mesh için yaygın olarak dört ilke sayılır: verinin alan sahipliği, ürün olarak sunulan veri, self servis altyapı ve federe yönetişim. Pratikte işin çoğunu ikincisi ve üçüncüsü yapar. Veriyi ürün gibi ele almak, ödemeler ekibinin bir ödemeler veri kümesini şema sözleşmesi, keşfedilebilirlik meta verisi, kalite beklentileri ve bozulduğunda hesap verecek biriyle birlikte yayımlaması demektir — bir ekibin bir API için kabul edeceği yükümlülüklerin aynısı. Self servis altyapı, merkezî bir platform grubunun yine de var olduğu ama hatları değil asfalt yolu inşa ettiği anlamına gelir: alan ekiplerinin her yeni veri kümesi için platform işi talep etmeden kullandığı depolama, orkestrasyon, kataloglama, erişim denetimi ve izleme. Federe yönetişim, kesişen kuralları — gizlilik sınıflandırmaları, saklama, adlandırma, birlikte çalışabilirlik — küresel tutarken içeriği yerel bırakır. Mesh varsayılan bir seçim değildir. Gerçek bir ek yük taşır ve alan ekiplerinin veri ürünü işletecek mühendislik kapasitesine ve isteğine sahip olduğunu varsayar; belirli bir büyüklüğün altında bu çoğu zaman doğru değildir ve daha küçük bir şirket için iyi işleyen merkezî bir ekip genellikle daha iyi yanıttır. Pratik not: kademeli benimseyin; önce yüksek trafikli tek bir veri kümesini gerçek bir ürüne dönüştürün — sözleşme, sahip, SLA, dokümantasyon — ve herhangi bir yapıyı yeniden kurmadan önce üreten ekibin bunu sürdürebildiğini görün.