GPU Kullanım Oranı

GPU kullanım oranı, bir grafik işlemcisinin kapasitesinin ne kadarının bir iş yükü tarafından kullanıldığını anlatır. Önemlidir, çünkü hızlandırıcılar bir yığındaki en pahalı kaynaklar arasındadır ve genellikle yapılan işe göre değil zamana göre kiralanır: boşta duran bir kart, doymuş bir kartla aynı tutar; kullanılmayan kapasite doğrudan boşa giden paraya dönüşür. Çoğu aracın gösterdiği sayıyı yanlış okumak kolaydır. Yaygın bir kullanım ölçütü, aygıtın hesaplama gücünün ne kadarının meşgul olduğunu değil, en az bir çekirdeğin çalıştığı zamanın oranını bildirir. Kartı sözde meşgul tutarken aritmetik iş hacminin küçük bir bölümünü kullanan bir iş yükü, bu nedenle yüksek bir rakam bildirebilir ve donanımın çoğunu yine de boşta bırakabilir. Bellek doluluğu ise ayrı bir eksendir: bir model belleği doldurup hesaplama birimlerini meşgul etmeyebilir; bu da kartı başka nelerin paylaşabileceğini sınırlar. Özellikle çıkarımda darboğaz ham hesaplama gücü değildir. Metni jeton jeton üretmek, model ağırlıklarını ve önbelleğe alınmış dikkat durumunu bellek üzerinden taşımaya hâkimdir; bu da aritmetik birimleri bekletir. Toplu işlemenin bu kadar yardımcı olmasının nedeni budur — birkaç isteği birlikte sunmak bu bellek hareketlerini paylaştırır — ve mevcut yığının bitmesini beklemek yerine çalışan bir yığına yeni istekler alan sürekli toplu işleme gibi tekniklerin verimli sunumun merkezinde olmasının nedeni de budur. Pratik kollar buradan çıkar. Gecikme bütçesinin izin verdiği yerde toplu işleyin. Kalite elverdiğinde daha küçük ya da nicemlenmiş bir model kullanın; bellekte farklı yerleşen bir model donanımın yapabileceklerini değiştirir. Uzun bağlamlı isteklerle kısaları aynı kuyrukta karıştırmak yerine biçimleri farklı iş yüklerini ayırın. Ani dalgalanan her şeyi sıfıra ölçekleyin ve bir iş yükünün paylaşılan bir uç nokta yerine gerçekten kendine ayrılmış bir karta ihtiyacı olup olmadığını sorun. Kullanım oranının bir de talebin belirlediği tabanı vardır ve kendi kendine barındırmanın gerçek sorusu budur. Kendi hızlandırıcılarınızı çalıştırmak, iş birimi başına barındırılan bir API'den ancak belirli bir sürekli hacmin üstünde ucuzdur, çünkü boş zamanın parası ödenir. Ani, mevsimlik ya da hâlâ büyüyen trafik çoğu zaman ölçümlü bir uç noktada daha ucuza gelir ve geçiş noktası, sağlayıcı fiyatlaması ya da model verimliliği her değiştiğinde yer değiştirir. Son olarak kullanım oranını bir hedef değil bir tanı aracı sayın. İstekleri daha uzun bekleterek ya da kartı tahmine dayalı işle meşgul tutarak sayıyı yükseltmek, ürünü kötüleştirirken ölçütü iyileştirebilir. Eniyilenmeye değer ölçüt, yararlı çıktı birimi başına maliyettir; kullanım oranı ise onun nereye gittiğinin açıklamalarından biridir.