Nvidia ve Oracle’dan Multi-Gigawatt Ölçekinde Vera CPU Sunucuları Yayına Alındı.

Nvidia ve Oracle, Salı günü Oracle AI World’da Nvidia’nın Vera Rubin NVL72 rafı ve Oracle Cloud Infrastructure (OCI) Supercluster’larındaki Vera CPU’larının genel kullanılabilirliğini duyurdu. Duyuru, bir hafta önce Google Cloud’un Vera Rubin için genel kullanılabilirliği açıklamasının hemen ardından geldi ve Nvidia’nın başında iki büyük hyperscaler’ı daha konumlandırdı. Ancak Oracle’ın duyurusu ilgi çekici, özellikle OCI Supercluster’lardaki ayrı Vera örneklerini öne çıkarıyor. Çipin performans özelliklerinden bazılarını vurgulamak için yakında çıkacak bir inceleme için bir Vera sunucusunda gerçekleştirdiğimiz birkaç benchmark ekledik, ancak bu testlerin OCI altyapısında gerçekleştirilmediğini belirtmek gerekir.

Neocloud’lar son birkaç haftadır Vera’nın trampetini çalıyor; Nscale, CoreWeave ve Nebius başta olmak üzere birçok yerde örnekler hazırlandı, bu yüzden GPU ağırlıklı ve odaklı AI neocloud’larında Vera’nı görmek mantıklı. Ancak Oracle gibi bir hyperscaler’daki ayrı bir dağıtım farklı bir sinyal gönderiyor.

Hyperscaler’lar büyük donanım filolarını korurlar, bazen neocloud’lardan bile kiralasalar da, CPU odağı öncelikle x86’dır; OCI Supercluster’lar Arm tabanlı bir örnek için başka türlü Ampere Altra sunar. Bu, Nvidia’nın hyperscale veri merkezlerine yönelik ilk ayrı CPU hamlesidir, Vera’yı GPU hesaplamasından bağımsız olarak x86 rekabetinin yanında konumlandırıyor.

Vera, en azından yalnız başına, x86’nın korumasını devirmek için tasarlanmadı. CUDA’nın arkasındaki zihin ve Nvidia’nın AI altyapısı inşasının yüzü olan Ian Buck, çipin mart ayında ortaya çıkarıldığında dünyanın tek bir, 88 çekirdekli SKU ile hizmet alamayacağını söyledi. Ancak Vera, Oracle gibi hyperscaler’larda gelecekteki CPU nesillerinde genişleme kapısını açıyor.

AMD ve Intel, tek soket yoğunluğu geldiğinde öndedir ve bu, bir sonraki nesilde yalnızca genişleyecektir; AMD’nin yakında çıkacak EPYC Venice CPU’ları tek bir sokete kadar 512 iş parçacığını paketleyebilir. Ancak Vera, iş yüküne bağlı topolojisinden dolayı bazı belirgin avantajlar sunuyor ve bunların çoğu artık ajan AI (agentic AI) çağında giderek daha ilgili hale geliyor.

Bant genişliği örneğin Vera’nın güçlü yanlarından biri ve bu yalnızca bir pazarlama iddiası değil. Nvidia, bellek sisteminin 1,2 TB/s bant genişliğine ulaşabileceğini belirtti, ancak aşağıdaki testlerimizde Nvidia’ın bu üstünlüğünü teorik sayıların dışında da görmek mümkün.

(Görsel kredisi: Tom’s Hardware)

Endüstri standardı Stream ölçümünü örnek alalım. Nvidia’nın LPDDR5X-9600 kullanımı, tek parçalı die ve önbellekleme için dağıtılmış mesh yapısı, 8.800 MT/s hızlarda MRDIMM’lerle eşleştirildiğinde bile çift Intel Xeon 6980P sistemde bulunan bant genişliğini iki katından fazla artırabiliyor. Burada triad işlemini gösteriyoruz çünkü Stream’in işlemleri arasında en “yoğun” olanı bu, ancak Vera’nın add, copy ve scale işlemlerindeki üstünlükler de benzer şekilde.

Bu bant genişliği, özellikle büyük veritabanı sorguları veya kapsamlı dokümantasyonla uğraşan bazı ajantik döngü tipleri için kritik öneme sahip. OpenMP’nin “spread” (yayma) politikasının da Vera’nın bellek bant genişliğine büyük bir katkı sağladığını görebilirsiniz. Hem AMD hem de Intel merkez bellek kontrolü ve sistem düzeyinde önbellek sürdürürken, Vera bunu die üzerinde bir mesh üzerinden dağıtır. Sonuç, en azından OpenMP doğru şekilde ayarlandığında, süreçleri birbirinden mümkün olduğunca uzakta bağlayarak çok daha yüksek bellek bant genişliği sağlıyor.

Ajantik AI için kritik bir performans vektörü daha var: Python. Ajantik dünya genişliyor, ancak AI yazılım ekosisteminin temelinin büyük bir kısmı Python üzerine kurulu. CrewAI ve LangGraph gibi yaygın ajantik çerçeveler Python ile yazılmıştır ve Rust ve TypeScript gibi dilleerle inşa edilen daha fazla çerçeveler görmeye başlasak da, Python performansı ajantik döngüler için hâlâ kritik önem taşıyor.

(Görsel kredisi: Tom’s Hardware)

Va, şaşırtıcı olmayan bir şekilde, bu alanda da güçlü; kağıt üzerinde çok daha güçlü CPU’ların önüne geçiyor. Popüler ajantik harness’ler Python üzerine kuruludur, ancak PyTorch ve TensorFlow gibi temel AI kütüphaneleri de dahil olmak üzere Python üzerinde çalışan birçok uygulama Python ile yazılmıştır.

Nvidia’nın ajansal (etkinlik odaklı) AI’a yönelik odaklanması, içinde bulunduğumuz dönemin mantıklı bir sonucu olsa da, bu yaklaşım ağacı görüp ormanı kaçırmaya yol açabilir. Oracle’ın Vera’nın bağımsız örneklerini çevrimiçi hale getirmesi, Vera’nın veri merkezine girişinin daha geniş etkilerine dikkat çekiyor. Ajansal AI iş yüklerini karakterize eden bazı performans unsurları var; ancak birçok ajansal iş yükü ilk başta yüksek eşzamanlılık altında olsa da sıradan veri merkez iş yükleridir.

(Görsel kaynağı: Tom’s Hardware)

İşte Vera’yı Oracle’ın duyurusu bağlamında bu kadar ilginç kılan da budur. Nvidia’ya göre Vera, ajansal AI için inşa edilmiş bir CPU’dur; ancak genel merkez iş yükleriyle güçlü bir çapraz etkileşim gösterir. Sadece Nvidia’nın hızlandırıucularına erişim gerektiği için kullanılan bir CPU değildir. İş yüküne bağlı olarak, x86’ın koruyucusundan bile daha iyi bir seçim olabilir.

Nihayetinde, bu süper ölçekli şirketlerin müşterilerinin Vera’yı üretimde nasıl kullandığını (veya kullanmadığını) görmemiz gerekiyor. Vera, ajansal AI döngülerinde faydasını kanıtladı; ancak belirli genel amaçlı iş yüklerinde de erken dönem umut verici sinyaller veriyor. Oracle’ın bağımsız dağıtımı, Vera’ya olan talebin yalnızca Rubin GPU’suna bağlı olmadığını gösteriyor.

Oracle, yine de dikkatli bir yaklaşım benimsiyor; çünkü herhangi bir süper ölçekli şirket, multi-gigawatt’lık bir dağıtımı hayata geçirirken öyle davranmalıdır. Şirket, aynı zamanda Nvidia’nın HGX NVL8’ini de sunacağını duyurdu; bu, sekiz Rubin GPU’sunu bir kümede birleştirir ve 4TB DDR5 bellekle donatılmış, çift 64 çekirdekli Intel Xeon 6 ana bilgisayara bağlanır.

Bu makalede paylaştığımız Vera testleri, çiple gerçekleştirdiğimiz daha kapsamlı bir benchmarking oturumunun bir parçasıdır; test kurulumunun teknik ayrıntılarını yakında yayınlayacağımız incelemede paylaşacağız. Tam sonuçlarımızı kısa süre içinde Tom’s Hardware‘de yayımlayacağız.