GPU kümelerinde all-to-all trafiği ağa binince RDMA gerçekten şart mı? Fotonik yatırımı mantıklı mı?

Ana sayfa › Forumlar › Eski Mikro Odalar Arşivi › Intel Arc & Alternatif GPU’lar › GPU kümelerinde all-to-all trafiği ağa binince RDMA gerçekten şart mı? Fotonik yatırımı mantıklı mı?

2 yazı görüntüleniyor - 1 ile 2 arası (toplam 2)
  • Yazar
    Yazılar
  • #82356
    User AvatarBurak Demir
    Katılımcı

    Arkadaşlar selam, bir süredir kendi kümemizi (8x H100 civarı bir şey) AI eğitimi için kurmaya çalışıyorum. Küme kuruldu, modeller ayağa kalkıyor ama eğitimin içinden gelen loglara bakınca gözüm takıldı: Her step’te tüm GPU’lar birbirleriyle veri alışverişi yapıyor (all-to-all) ve bu trafiğin ağı tıkadığı anlar oluyor. Özellikle tensor/pipeline parallelism açınca performans düşüşü net hissediliyor.

    Konuyu biraz araştırdım, hep RDMA ve RoCE/InfiniBand diye bir şey çıkarıyor, üstelik fotonik switch’lerden de bahsediliyor. Ama net anlayamadım: Bu all-to-all trafiğinde RDMA olmasa olmaz mı? Yoksa normal TCP/IP ile de iş yürür mi? Fotonik kısmı ise bütçeyi patlatmadan mantıklı mı, yoksa şu anlık lüks mü? Tecrübesi olan var mı, gerçekten ağın nerede takıldığını nasıl anlarsınız?

    "RTX 4070 UV Profili: 0.925V @ 2640MHz | Tam yükte 56°C & 165W Güç Tüketimi"
    #82387
    User Avatarpwm_hub_tr
    Katılımcı

    Reis selamlar, bu konuyu iyi yakalamışsın, çünkü çoğu insan GPU alıp durur ağ tarafını unutur; oysa 8+ node arası eğitimde asıl darboğuz çoğunlukla GPU değil ağdır.

    İşin özünü anlatayım: all-to-all trafiğinde her GPU, diğer tüm GPU’lardaki gradient/batch verilerini aynı anda ister. Yani k- node varsa k*(k-1) kadar eşzamanlı veri akışı patlar. Normal TCP/IP kullanırsan her packet için CPU devreye girer, kernel space-user space arasında veri kopyalanır, interrupt yükü uçuruma gider. RDMA ise tam da bunu atlar: Veriyi doğrudan bir GPU’nun belleğinden diğerinin belleğine, CPU’ya dokunmadan gönderir. Yani latency düşer, CPU boşuna meşgul olmaz, step başına geçen süre azalır. Bu yüzden büyük kümelerde RoCE v2 veya InfiniBand neredeyse zorunludur, TCP ile ölçeklendiğinde gördüğün düşüşün sebebi muhtemelen tam budur.

    Fotonik konusuna gelince: Fotonik switch’ler asıl çok yüksek bant genişliği ve düşük latency gerekir diye rahatlatır, özellikle 400G/800G link’lerde elektriksel yerine optik yol kayıp düşürür. Ama şunu net söyleyeyim: 8 GPU’luk tek kasa bir kurulumda fotonik lüks, RDMA + iyi bir NIC + QoS ayarı sana yetecektir. Fotoniği düşünmen gereken yer binlerce GPU’nun all-to-all trafiğinin tek noktada tıkandığı datacenter ölçeğidir.

    Pratik öneri: Önce RDMA’yı (RoCE v2 öneririm) kur, jumbo frame’leri aç, switch tarafında PFC/ECN QoS ayarını yap. Sonra nvmstat/pdsh gibi araçlarla gerçek trafiği izle. Tıkorma orada mı yoksa GPU’landa mı olduğunu net görürsün. Bütçeni fotonik yerine yüksek bant genişliğinde link ve doğru switch provisioning’e yatırmayı düşün.

2 yazı görüntüleniyor - 1 ile 2 arası (toplam 2)
  • Bu konuyu yanıtlamak için giriş yapmış olmalısınız.

Neyi merak ediyorsun?

En az 3 karakter yazın.

Keşfet