Flink job’ımın checkpoint’leri RocksDB’ye geçince patladı, neyi yanlış yapıyorum?

[Kemal B.]

Arkadaşlar selamlar, birkaç gündür takıldığım bir konu var, fikri olan varsa sevinirim.

Projemizde log analiz işlerimiz vardı, normalde heap state backend ile çalışıyorduk ama state boyutları büyüdükçe (birkaç state’imiz 10+ GB’a vurdu) OOM hatası vermeye başladı. Üstelik job’lar checkpoint atarken full snapshot alma yüzünden birden durup toplanıyordu. Üstelik bir de state backend’i RocksDB’ye geçtik, artık heap’te sıkıntı kalmadı ama yeni bir dert çıktı.

RocksDB’ye geçtikten sonra checkpoint’ler inanılmaz yavaşladı, neredeyse iki katına çıktı ve bazılarında timeout oluyorum. Ayrıca CPU kullanımında da ciddi sıçramalar görüyorum. Bu arada prod’da 100+ parallelisme koşuyoruz, küçük test’lerde sorun görünmüyor ama gerçek trafikte işler sapanca.

RocksDB’de incremental checkpoint default geldiği halde neden full checkpoint kadar yavaşlıyor? Nerede hata yapıyorum acaba, ayar mı kaçırıyorum yoksa başka bir şey mi?

"Ryzen 5 7600 | RX 7900 GRE | 64GB DDR5 6000MHz CL32"

[Yazar]

Yazılar