12GB VRAM içeren bir ekran kartı, 125 milyar parametreli bir yapay zekâ modelini çalıştırmak için akıllıca bir seçim gibi görünmeyebilir. Ancak Intel’in Arc B580’ini içeren yeni bir test, yükü yöneten yazılımın performansta önemli ölçüde fark yaratabileceğini gösteriyor.
26 Ekim’de yayınlanan testlerde, Japon teknoloji yayıncısı PC Watch, açık kaynaklı XeStrata çıkarım motorunu kullanarak saniyede 31,1 token kaydetti. Aynı sistem, XeStrata’dan türetilen Strata ile saniyede 10,9 token elde etti.
Bu, ekran kartını değiştirmeden yaklaşık 2,85 kat daha hızlı orijinal üretimi ya da yaklaşık 185%’lik bir iyileşme anlamına geliyor.
12GB’lık GPU denklemin yalnızca bir parçası
Test, ASRock Intel Arc B580 Challenger 12GB OC’yi bir Intel Core Ultra 5 250KF Plus işlemci ve 64GB DDR5 bellekle birlikte kullandı. İşletim sistemi olarak Ubuntu 26.04 LTS kullanıldı.
Model, IQ3_S nicelleştirme, 64K token bağlam ve 8-bit KV önbelleği ile yapılandırılmış Qwen3.8-Flash-Next’ti. Bu ayrıntılar önemlidir çünkü nicelleştirme, bağlam uzunluğu ve bellek ayrımı çıkarım performansını etkileyebilir.
Modelin 125 milyar parametreli olması, testin modelin tamamının 12GB VRAM içine sığabildiğini göstermediği anlamına gelmiyor. Strata ve XeStrata, sistem belleğini GPU hızlandırmasıyla birlikte kullanacak şekilde tasarlanmıştır; bu da karşılaştırmalı olarak sınırlı grafik belleğine sahip donanımlarda oldukça büyük modellerin çalıştırılmasına olanak tanır.
Bu test için seçilen belirli nicelleştirme, Strata’nın kurulum bilgilerine göre yaklaşık 50GB sistem RAM’i gerektirir. Sonuç olarak 64GB’lık yapılandırma, tesadüfi bir ayrıntıdan çok sonucun ayrılmaz bir parçasıdır.
Bütçeyle yerel yapay zekâ çıkarımı düşünen biri için bu ayrım, yalnızca GPU özelliklerinden daha faydalı olabilir.
İki sonuç arasında ne değişti?
Karşılaştırma, desteklenen GPU mimarileri için ek optimizasyonlar içeren bir türev olan Strata 0.2.1 ile XeStrata arasında yapıldı.
PC Watch, XeStrata’yı projenin xe0.1.43.1 sürümüne karşılık gelen 0.1.43-2 Ubuntu paketi ile kurdu. Her iki motor da aynı model ve yapılandırma kullanılarak test edildi.
ASRock Intel Arc B580 Challenger 12GB OC grafik kartının metal arka plakasını gösteren arka görünüm.
XeStrata’nın sürüm belgeleri, Intel GPU yürütme yollarındaki iyileştirmeleri, belirli işlemler için XMX donanım matrisinin kullanımını da içerecek şekilde tanımlıyor. Ancak yayımlanan PC Watch karşılaştırması, ölçülen hız farkının ne kadarının belirli bir optimizasyondan kaynaklandığını ortaya koymuyor.
Sonuç dolayısıyla, tekniğin kazancın tamamından sorumlu olduğu yönünde bir kanıt değil, aynı bilgisayardaki iki yazılım yapılandırması arasındaki karşılaştırma olarak anlaşılmalı.
Aynı zamanda bu metin üretimi hızı ile ilgili. İstek işleme, yanıt gecikmesi, model doğruluğu veya diğer AI iş yüklerinde eşdeğer iyileştirmeler olduğunu ortaya koymuyor.
Hızlı çıkarım, donanım sınırlarını ortadan kaldırmıyor
31,1 token/saniye ile XeStrata yapılandırması, metinleri Strata ile gözlemlenen neredeyse üç kat hızda üretti. Bu, her iki sonucun da aynı 12GB grafik kartından gelmesi nedeniyle, bildirilen testte anlamlı bir fark.
Bununla birlikte, büyük bir modeli çalıştırmak hâlâ zorlayıcı. Test 64GB sistem belleği gerektirdi ve inceleyici, daha fazla GPU performansının, daha fazla VRAM’in ve daha uzun bağlam pencerelerinin tercih edilebileceği, daha ağır ajan tabanlı iş yüklerinde Arc B580’yi yetersiz buldu.
Aynı zamanda önemli bir yazılım sürümü ayrımı var. PC Watch tarafından test edilen XeStrata paketi artık mevcut en son sürüm değil. Projenin 24 Ekim’deki sürümü, belirli Linux yapılandırmalarını etkileyen ek değişiklikler ve Intel sürücüyle ilgili performans sorunları tanımladı.
Buna göre, 31,1 token’lık sonuç, her XeStrata sürümü veya sürücü birleşimi için bir referans olarak değerlendirilmemeli.
En dikkat çeken sonuç, 12 GB’lık bir GPU’nun 125B’lık modelin bellek gereksinimlerini bir şekilde aşması değil. Aynı donanım üzerinde aynı modeli çalıştıran iki çıkarım motorunun belirgin derecede farklı üretim hızları üretmesi.
Yerel olarak büyük dil modelleriyle deney yapan kullanıcılar için yazılım seçimi, VRAM, sistem belleği ve grafik kartının kendisi yanında önemli bir unsur haline geliyor.
Kaynaklar
- PC Watch: Intel Arc B580, Strata ve XeStrata testleri, 26 Ekim 2026
- XeStrata: Resmi GitHub deposu
- XeStrata: Resmi sürüm notları ve sürüm geçmişi
- Strata: Orijinal GitHub projesi
Bu Gelişmeyi Toplulukta Değerlendirin
Haber hakkındaki düşüncelerinizi, donanım deneyimlerinizi ve teknik sorularınızı topluluk üyeleriyle anlık olarak tartışın.
Bu gelişme hakkında düşüncelerinizi, donanım deneyimlerinizi veya sorularınızı Topluluk Forumumuzda paylaşın.
Foruma Katıl & Yanıtla ➔
Söz sizde.
Deneyiminizi, sorularınızı ve katkılarınızı paylaşın. E-posta adresiniz yayımlanmaz.