data-infra

S3

Amazon S3 (Simple Storage Service), Amazon Web Services'in 2006'da piyasaya sürülen nesne depolama ürünüdür ve o kadar baskın hale gelmiştir ki "S3 uyumlu", artık Cloudflare R2, Backblaze B2, DigitalOcean Spaces ve MinIO (popüler açık kaynak, kendi kendine barındırılabilir bir seçenek) dahil olmak üzere neredeyse tüm diğer nesne depolama sağlayıcılarının API'sini tanımlamak için kullanılan genel bir terim haline gelmiştir. AI/SaaS kurucuları için neden önemli: S3 (veya S3 uyumlu bir alternatif), "kullanıcı tarafından yüklenen dosyaları, AI tarafından üretilen çıktıları ve büyük veri kümelerini nerede depolayacağız" sorusunun neredeyse her zaman yanıtıdır - modern bir SaaS'ın, ister doğrudan ister bir framework'ün depolama soyutlaması aracılığıyla (Laravel'in filesystem disk'leri, Django'nun depolama backend'leri, Next.js dosya yükleme kütüphaneleri, hepsi S3'ün API'sini yerel olarak konuşur) buna hiç dokunmadan inşa edilmesi nadirdir. Bu yaygınlık, S3 API'sinin kendisini taşınabilir bir beceri ve entegrasyon yüzeyi yapar - S3'e karşı yazılan kod, tipik olarak yalnızca bir yapılandırma değişikliğiyle (uç nokta URL'si, kimlik bilgileri) Cloudflare R2 veya başka bir uyumlu sağlayıcıya karşı çalışır; bu da maliyet optimizasyonu açısından önemlidir çünkü R2 dikkat çekici biçimde sıfır çıkış (egress) ücreti alırken, S3'ün veri aktarım maliyetleri, çok sayıda üretilmiş görsel veya video sunan AI ürünleri için anlamlı bir kalem haline gelebilir. Nasıl çalışır: veri, IAM politikaları ve bucket politikaları aracılığıyla ince taneli erişim kontrolüne, versiyonlamaya (bir nesnenin üzerine yazıldığında geçmiş sürümlerini tutma) ve yaşam döngüsü kurallarına (eski nesneleri otomatik olarak daha ucuz depolama katmanlarına geçirme veya N gün sonra silme - geçici AI tarafından üretilen önizleme dosyalarını otomatik sona erdirmek için kullanışlı) sahip anahtarla adreslenen nesneleri tutan bucket'lar (küresel olarak benzersiz adlı konteynerler) halinde organize edilir. Yüklemeler ve indirmeler REST API çağrıları veya SDK sarmalayıcıları (Python için `boto3`, Node/PHP/vb için AWS SDK) aracılığıyla gerçekleşir ve genel olarak nesne depolamada olduğu gibi, önceden imzalanmış URL'ler, bir tarayıcının veya mobil istemcinin byte'ları uygulama sunucusundan geçirmeden doğrudan yükleme/indirme yapmasını sağlayan standart mekanizmadır. Somut örnek: bir AI video üretim SaaS'ı, her üretilen klibi bir S3 bucket'ında `outputs/{user_id}/{job_id}.mp4` olarak anahtarlanmış şekilde depolar; talep edilmemiş üretim önizlemelerini depolama maliyetlerini kontrol altında tutmak için 7 gün sonra otomatik silen bir yaşam döngüsü kuralına sahiptir ve CloudFront (AWS'nin CDN'i) bucket'ın önünde durarak, bir video üretildikten sonra dünya çapında edge konumlarda önbelleğe alınmasını ve kullanıcının indirme düğmesine bölgesine bakılmaksızın düşük gecikmeyle sunulmasını sağlar - orijin S3 bucket'ı aynı popüler klip için tekrarlanan isteklerin darbesini almadan. Bir AI ürününün çıkış trafiğinin giderek artan bir kısmı tam olarak bu "bir kez üretilip çok kez görüntülenen" medya türü olduğundan, S3'ün önündeki CDN katmanı, sonunda üretim hesaplamasının kendisinden daha fazla bant genişliği maliyeti tasarrufu sağlar - bir ekip tamamen model çıkarım maliyetine odaklandığında gözden kaçması kolay bir detay.

İlgili terimler

Daha fazla Veri ve Altyapı terimi