Kararsız Test (Flaky Test)

Kararsız test (flaky test), kodda hiçbir değişiklik olmadan bazen geçen bazen kalan testtir — bir çalıştırmada yeşil, diğerinde kırmızı. Olağan şüpheliler gizli zamanlama varsayımları (sayfa yüklenmeden tıklayan bir arayüz testi), testler arasında sızan paylaşılan durum, gerçek ağ çağrılarına bağımlılık veya sıralama bağımlılıklarıdır. Kararsızlık, boyutuyla orantısız biçimde yıpratıcıdır: sebepsiz yere %5 oranında başarısız olan bir test paketi, ekibinizi "yeniden çalıştır"a basmaya ve sonunda kırmızı derlemeleri tamamen görmezden gelmeye alıştırır — ki gerçek bir gerilemenin sızıp geçtiği an tam da budur. Her çekme isteğinde CI çalıştıran SaaS geliştiricileri için kararsız testler, yayınlamayı doğrudan yavaşlatır ve tüm güvenlik ağına duyulan güveni aşındırır. Onları birer hata gibi ele alın: suçluyu karantinaya alarak birleştirmeleri engellemesini durdurun, ardından sorunu yalnızca gizleyen körlemesine yeniden denemeler eklemek yerine kök nedeni giderin (açık beklemeler ekleyin, durumu izole edin, ağı taklitleyin).