Local GPU’mda uzun conversation başlattıkça VRAM patlıyor, OOM’dan kurtulmanın yolu var mı?

[Ramazan38]

Hocalarım selam, bir süredir local GPU’mda (24GB 3090) model servise vermeye çalışıyorum ama sürekli aynı duvara tosunuyorum. Tek kullanıcı bile bağlandığında uzun bir sohbet başlattığı anda VRAM’ım anında doluyor, OOM hatası verip crash oluyor. Model boyutundan çok context uzadıkça bellek yetmiyor gibi bir durum var.

Arkadaşlar vLLM’in PagedAttention veya Chunked Prefill diye bir özelliği olduğunu duydum ama tam olarak ne işe yaradığını, normalde ne kaybediyorulumu tam anlayamadım. KV cache derler ya, işte o şey belleği nasıl şişiriyor? Bunları açarsanız local’de daha uzun conversation’ları sorunsuz yönetebilir miyim, ona net bilgi almak istiyorum. Teşekkürler.

"Termal macunu nohut tanesi kadar sıkacaksın, mercimek değil."

[Yazar]

Yazılar