Reflection’ın Beam’ı Tartışılan Yeni Açık Ağırlıklı Model Oldu.

Bu, herkesin bir dakikadan kısa sürede yapabileceği bir hesaplama. Reflection AI’nin yeni açık ağırlıklı modeli Beam, 501 milyar parametre içeriyor ve her parametre 16 bitte iki bayt alıyor. Bu da ağırlıkları yaklaşık 933 GiB seviyesine getiriyor; ki bu, Hugging Face üzerinde yayınlanan BF16 checkpoint’in açıklanan boyutuyla neredeyse tam olarak örtüşüyor.

Beam hakkında insanların çoğunun tekrarladığı sayı farklı: token başına 23 milyar aktif parametre. Bu gerçek ve faydalı olsa da, o 933 GiB’dan tek bir bayt bile eksiltmiyor.

Dikkat (attention) kısmı anlamak kolay. Beam, Reflection’ın ilk açık ağırlıklı modeli ve şirket onu, GLM-5.2 gibi Çin menşeli açık modellere bir rakip olarak konumlandırıyor. Lansman Reuters ve TechCrunch tarafından kapsandı; ağırlıklar takip ettiğinde ise başlıca inference framework’leri aynı gün desteği hazır hale getirdi. Bu, başlıca sayıları büyük ölçüde kendi araştırmacılarından gelen bir model için oldukça büyük bir heyecan.

Reflection, Beam’i 5 Ekim’de duyurdu ve ağırlıkları 16 Ekim’de açık bir lisans altında yayımladı; dolayısıyla bu, gerçekten indirilebileceğiniz bir model üzerine, başlı dalganın sakinleşmesinin ardından yazılmış bir değerlendirme. Sorulmaya değer olan soru, o 23 milyarın size ne kazandırdığı ve neyi tam olarak eski yerinde bıraktığı.

501 milyar parametre nasıl 23 milyona dönüşüyor

Beam, sözlükte daha korkutucu görünen ama arkasındaki fikrin oldukça basit olduğu seyrek uzman karışımı (sparse mixture-of-experts) bir model. Yoğun (dense) bir model her tokenı ağırlıkların hepsinden geçirirken, seyrek bir model ağırlığın büyük bir kısmını daha küçük uzman ağlarına böler ve bir yönlendirici (router) her token için birkaçını seçmesini sağlar. Sadece seçilen uzmanlar o token üzerinde bir iş yapar ve 23 milyar buradan gelir.

Bu anlatımda altını çizeceğim kelime token. Aktif parametreler, bir tokenın ne kadar hesaplama maliyetine sahip olduğunu söyler; bu yüzden sayı hız ve token başına fiyat açısından konuşur, ancak bellekte kaç ağırlığın durması gerektiği hakkında hiçbir şey söylemez.

Yönlendirici, bir sonraki token’ı tamamen farklı bir uzman kümesine gönderebilir, böylece hiçbirinin dışarıda kalması mümkün değildir. Yüzlerce uzmanın bulunduğu bir hastaneye benzer; her hasta yalnızca birkaçıyla görüşür, dolayısıyla her ziyaret ucuzdur, ancak binayı ve maaş bordrosunu her zaman herkes için ödemek zorundasınız.

Tasarımın bana göre zekice yanı da burası, aynı zamanda manşet numaralarının atladığı yer: maliyet hesaplamadan belleğe kayar, ortadan kalkmaz ve bellek, ilk token bile üretilmeden önce ödediğiniz faturadır.

Efiklilik iddiasının aslında ne dediği

Reflection, Beam’ın gelişmiş muhakeme testlerinde GLM-5.2’ye eşitlediğini ancak üç ila dört kez daha az çıkarım hesaplaması kullandığını bildiriyor. Bu iddia Reflection’a ait; TechCrunch ise performans ve efliklilik iddialarının hâlâ bağımsız olarak doğrulanmadığını belirtiyor.

Reflection, Kimi K3’ün ham yetenek açısından önde olduğunu da kabul ediyor, dolayısıyla sunum eflikliliğe dayanıyor ve bu da iddia edilen eflikliliğin aslında neyi ölçtüğüne yakından bakmayı değerli kılıyor.

Bu iddanın ne tür bir iddia olduğunu fark etmek yardımcı olur. Üç ila dört kez daha az hesaplama, aktif olan parametre sayısı ile model muhakeme ederken ürettiği token sayısı temel alınarak oluşturulan bir tahmindir. Her iki parça da önemlidir, çünkü daha az tokenla düşünen bir model, aynı boyutta olsa bile daha ucuza gelir. Ancak bir hesaplama tahmini, ölçülmüş gecikme, veri akışı, elektrik tüketimi veya bir sağlayıcının size uyguladığı fiyat hakkında pek bir şey söylemez, çünkü bunlar tahminin dışarıda bıraktığı donanım ve yazılıma bağlıdır.

Ayrıca faturayı baş başına etkileyebilecek bir ayar da var. Beam’ın API’si orta düzey muhakeme çabasını varsayarken, OpenRouter varsayılan yol olarak maksimumu listeliyor. Aynı istek, hangi kapıdan geçtiğinize göre oldukça farklı tutarlara mal olabilir.

Yayımlama gerçeği

Reflection, Beam’ı üç sayısal formatta yayımladı. BF16 tam doğruluklu sürümdür, FP8 her ağırlığı 8 bite kaydeder ve NVFP4, NVIDIA’nın Blackwell GPU’ları için 4 bitlik formatıdır.

Reflection’ın sürüm yazısını NVIDIA Dynamo ve AWS dağıtım kılavuzlarıyla birlikte inceledim, bu yüzden aşağıdaki tabloda yayınlanan boyutları kendi hesaplamalarımla karşılaştırıyorum.

Boyutlar ikinci bir göze değer. BF16 ve FP8, beklediğim gibi düzeltme çarpımından yaklaşık yarım yüzde daha içinde çıkıyor. NVFP4 ise tektir; parametre başına 4 bitin öngördüğünden yaklaşık 40 GiB daha ağır geliyor. Bunların bir kısmının ölçekleme verisi, bir kısmının da daha yüksek doğrulukta korunan katmanlar olduğunu tahmin ediyorum ama bu sadece bir tahmin ve bunu doğrulamak için bakılacak yer model kartı.

Ders şu: Nicelleştirme ağırlıkları küçültür ama ücretsiz değildir ve kalite ile hızın formatlar arasında eşleşmesi garanti değildir. Ölçek açısından, okuduğum kılavuzlar FP8’i sekiz H200 GPU üzerinde, NVFP4’i ise dört B300 üzerinde gösteriyor, yani daha küçük derleme bile çoklu-GPU sunucusu.

Kendi kontrolünü yapmak isterseniz, birkaç satır Python yeterli.

PARAMS
=
501e9

BITS
=
{
“BF16”:
,
“FP8”:
,
“NVFP4”:
}

# Yayınlanmış indirme boyutlarından (GiB) elle kopyalandı, depo yeniden yüklenirse tekrar kontrol edin

PUBLISHED_GIB
=
{
“BF16”:
933.81
,
“FP8”:
468.72
,
“NVFP4”:
273.0
}

assert

.keys()

PUBLISHED_GIB
.keys()
# her iki sözlükteki bir yazım hatasını yakalar

for
fmt, bits

.items():

raw_gib
=

*

/
/
**

over
=
PUBLISHED_GIB
[fmt]
/
raw_gib

# yüzde burada işe yarar sayı: iki format 0,5%’nin altında kalıyor, NVFP4 kalmıyor

print
(

”
{

:<6
}

{
raw_gib
:6.1f
}

{PUBLISHED_GIB
[fmt]
:6.1f
}

{

:+.1%
}
“

Ağırlıklar da bellek hikâyesinin yalnızca bir parçası. Çalışma zamanı kendi ek yükünü ekliyor ve KV önbelleği, milyon tokena kadar bir pencere vaat eden bir model için önemli olan bağlamın her token’ıyla büyüyor.

Ardından açık ve kolay arasındaki fark geliyor; çünkü Apache 2.0 lisans sorunu çözüyor ama donanım tarafıyla ilgili hiçbir şey söylemiyor. Beam, Transformers, vLLM ve SGLang’da sıfır gün desteğine sahip, ancak seçeceğiniz çerçeve ve çekirdekler gerçek verimi şekillendirir ve parametre sayısındaki hiçbir şey bunu size söylemez.

Kimler ilgilendi ve hâlâ belirsiz olan ne

Karmaşa uzmanları (mixture-of-experts) büyük bir modeli hesaplaması daha ucuz hale getirir ve Beam bunu gösteriyor, though modeli küçük yapmak için hiçbir şey yapmıyor. Sizin için karşılığının olup olmadığı donanımınıza, sunum kurulumunuza, iş yükünüze ve aslında elde ettiğiniz kaliteye bağlı; bunların hiçbirini bir manşet numarası çözemez.

Çoğu insan için barındırılmış bir API mantıklı ilk testtir. Donanım gereksinimlerini yakından okumak zorunda olan ekipler, veri themselves evde tutmak zorunda olanlardır ve onlar için cevap bir iş istasyonu değil, veri merkezi sınıfı bir sunucudur. Bağımsız değerlendirmeler hâlâ az olduğu için, başkaları yeniden üretenlere kadar benchmark numaralarını Reflection’a ait iddialar olarak değerlendirin.

Bu yüzden bir sonraki model büyük bir toplam ve küçük bir aktif sayıyla geldiğinde, önce çarpımı yapın. İlgilendiğiniz numara, size ne saklamanız gerektiğini söyleyen numardır.

Girmeden önce!

AI ve ML mühendisliği hakkında ve yeni model sürümlerinin bunlarla kurmak zorunda olan insanlar için ne anlama geldiği hakkında yazıyorum. Bundan biraz daha fazla isterseniz, bültenime abone olabilirsiniz.