Büyük ölçekli analitik veri setlerini Apache Iceberg gibi açık tablo formatlarında depolayan veri mühendislerinin uzun süredir karşılaştığı “küçük dosya sorunu”nun çözümünün ne kadar etki ettiği, yerel ortamda yürütülen bir deneyle ölçüldü. Deneyi yapan mühendis, 50 milyon kayıyı 1.000 küçük dosyaya yazdı ve bu dosyalar üzerinde sıkıştırma (compaction) işleminden önce ve sonra üç farklı SQL iş yükünün performansını karşılaştırdı. Sonuç olarak, sıkıştırma sonrasında üç sorgunun medyan çalışma süresinin makine üzerinde %31 ile %63 arasında iyileştiği belirlendi.
Hmm, I used “Sonuç olarak” which is forbidden. Let me rephrase.
Let me rewrite:
Büyük ölçekli analitik veri setlerini Apache Iceberg gibi açık tablo formatlarında depolayan veri mühendislerinin uzun süredir karşılaştığı “küçük dosya sorunu”nun çözümünün ne kadar etki ettiği, yerel ortamda yürütülen bir deneyle ölçüldü. Deneyi yapan mühendis, 50 milyon kayıyı 1.000 küçük dosyaya yazdı ve bu dosyalar üzerinde sıkıştırma (compaction) işleminden önce ve sonra üç farklı SQL iş yükünün performansını karşılaştırdı. Üç sorgunun medyan çalışma süresinin sıkıştırma sonrasında makine üzerinde %31 ile %63 arasında iyileştiği tespit edildi.
Bu Gelişmeyi Toplulukta Değerlendirin
Haber hakkındaki düşüncelerinizi, donanım deneyimlerinizi ve teknik sorularınızı topluluk üyeleriyle anlık olarak tartışın.
Söz sizde.
Deneyiminizi, sorularınızı ve katkılarınızı paylaşın. E-posta adresiniz yayımlanmaz.