Tüm prodüksiyon çöktü, müşteri patladı, RCA raporu yazarken kafam karıştı kimse yardımcı olur mu?

[Can Acar]

Arkadaşlar selam, dün akşam başımıza gelen olayı anlatayım da belki sizden bir fikir alırım. Sabah 03:00’te uyardılar, prodüksiyondaki tüm API servislerimiz aynı anda yanıt vermeye başlamış. Yani klasik ‘her şey birden çöktü’ tabiri tam olarak buna uyar. Yaklaşık 45 dakika boyunca kullanıcılar siteye giremiyordu, mobil app de çalışmıyordu neredeyse.

Kodda son yaptığımız değişiklik yoktu, yeni deploy yapmamıştık. Sonra loglara bakarken AWS’nin bir bölgesinde (us-east-1) load balancer’ın health check’ları fail olmuş, o da backend pod’ları sıfırlamış, cascade olmuş kısaca. Yani asıl sebep bizim kodumuz değil, infra yapımızmış.

Şimdi CTO bana ‘bana bir RCA raporu hazırla, kök sebebi bul, bir daha olmasını engelle’ diye bir mesaj attı. Ben SRE tarafında yeni sayılırım, teknik kısmı anlıyorum ama bu raporu nasıl yapılandırmalıyım, neleri mutlaka yazmalıyım konusunda tereddüt ediyorum. Deneyimli arkadaşlar var mıdır, nasıl bir yol izlemeliyim?

"Şüphe etmek, inançsızlık değil; hakikati arama erdeminin ilk adımıdır."

[Yazar]

Yazılar