9B’lik Modeli 8GB GPU’unda Claude’nın Reasoning’iyle Eğittim: Claude İçin Ödemeyi Yeniden Düşündürdü.

Claude Pro çoğu zaman kendini haklı çıkarıyor. Anthropic‘in modellerine API üzerinden neredeyse her yerden erişilebiliyor, ancak Claude çalışma alanı benim iş akışım için neredeyse vazgeçilmez hale geldi; özellikle Projects ve Artifacts — ve son zamanlarda Claude Docs da buna dahil. Ancak haftalardır süren sohbetleri geriye doğru gezdiğimde, oturumların kendilerinin aslında oldukça temel olduğunu fark ediyorum; çoğu zaman sadece bir şeyleri anlamama yardımcı olmaya dönüyorlar. Yani temelde masaüstü uygulamasının özellikleri için ödeme yapıyorum, ama bunlar AnythingLLM ya da PewDiePie’in Odysseus’u gibi yerel araçlarla değiştirilebilir.

Ekle

XDA

Google’da

Tercihli Kaynak Olarak Ekle

Google Discover’dan Takip Et

Son zamanlarda, üzerinde Claude ismi geçen (ama tam olarak o olmayan) 9B’lik bir model Hugging Face’te belirdi. Kendisinin Anthropic’in en güçlü modellerinden öğrendiğini iddia ediyor ve 8GB’lık bir ekran kartında çalışabiliyor. Benim gibi küçük GPU kampında iseniz, muhtemelen bu tür sürümlerden biraz heyecanlanıyorsunuz. Bu da beni, böyle bir modelin gerçekçi olarak Claude aboneliğinin ne kadarını karşılabileceği konusunda düşündürdü.

Merhaba Qwythos 9B

Büyük iddia taşıyan küçük bir model

Qwythos 9B, Empero AI adlı bir laboratuvardan çıkan ücretsiz bir muhakeme modeli ve ben üzerinde çalıştığım sürüm v2; bu, orijinal sürüm sonrası temizlenmiş versiyon. Muhakeme modeli demek, yanıt vermeden önce bir sorunu ayrı bir blok içinde düşüneceği anlamına geliyor. Model çalıştırıcılarınız bu düşünme özelliğini açıp kapatabiliyor muhtemelen; v2 ayrıca ilk sürümde var olan, kendini tekrarlayıp durma alışkanlığını da düzeltiyor.

Alibaba’nın Qwen ekibinin Mart ayında yayımladığı küçük modellerden biri olan Qwen3.5 9B üzerine inşa edilmiş; Empero araya girmeden önce zaten hem görüntüleri hem de uzun belgeleri işleyebilecek durumdaymış. Empero sonra bunu, Claude Mythos ve Claude Fable sohbetlerinden oluşan 500 milyondan fazla token üzerinde eğitti. Bağlam için: Fable 5 ile Mythos 5 aynı Anthropic modeli temsil ediyor; Mythos yalnızca küçük bir onaylı ortak grubuna verilmiş. Yani buradaki fikir, çok daha büyük bir modelin sorunları nasıl çözdüğünü küçük bir modelin öğrenmesi.

Empero, modeli matematik, bilim, tıbbi açıklamalar ve siber güvenlik alanlarına hedefliyor ve bilinçli bir şekilde sansürsüz. Kodlama, temel Qwen modeline göre biraz daha zayıf; Empero ayrıca web araması olmadan gerçekleri büyük bir özgüvenle yanlış bilabileceğini kabul ediyor.

Qwythos’u çalıştırmak için gerekenler

Altı yaşındaki GPU’mu zahmetsizce hallediyor

8GB VRAM’li bir RTX 3070 çalıştırıyorum. İlk aldığım zamanlarda oldukça iyi bir karttı, ama bugünlerde kesinlikle orta segmente ait. Qwythos v2’nin Q4_K_M quant versiyonunu en sevdiğim çalıştırıcı olan LM Studio üzerinden indirdim ve boyutu 7GB’ın biraz altındaydı; bu da bana, ne kadar katman yüklediğime bağlı olarak 10-30k arasında bir bağlam alanı bırakıyordu. Bir noktada bunu AnythingLLM’e çekmeyi kesinlikle düşünüyorum; böylece Claude Desktop’ta sevdiğim çalışma alanı özelliklerinden bir kısmını geri kazanabilirim.

Çalıştırmaya başladıktan sonra saniyede yaklaşık 20-22 token hızında ilerledi ve çoğu yanıt bir saniyenin altında gelmeye başladı. Yani genel olarak bu, diğer sevdiğim modeller olan Gemma 4 E4B ve Qwen 3.5 9B ile neredeyse aynı şekilde çalışıyor.

Bu kadar iyi uymasının sebebi, Qwen 3.5’in nasıl inşa edildiğinde yatıyor. Çoğu model, sohbet ne kadar uzarsa uzasın, modelin her bloğunda konuşmanın sürekli bir hafızasını tutar ve bu hafıza daha fazla VRAM tüketir. Qwen 3.5 bunu yalnızca bloklarının dörtte birinde yaparken, gerisi sabit boyutlu, yerinde duran bir hafıza taşır. Yani burada 14k bağlam uzunluğuyla rahatça çalıştırabildim; kart üzerindeki 1 milyon token aslında sunucu donanımı için düşünülmüş.

Qwythos’u Claude alışkanlıklarım bağlamında denemek

Claude yerine geçebileceği yerler

Günlük hayatta Claude’a çoğunlukla “bunu bana açıkla” ya da “bunu hallet” türü görevler için başvuruyorum, bu yüzden denemeye de oradan başladım. İlk deneme, bir trafik sürprimi içeren bir yol süresi bulmacasıydı. Düşünme özelliği kapalıyken Qwythos her adımı işledi ve “9:12’de yola çıkma” cevabını bir saniyeden kısa sürede doğru verdi. Yine de sorumun farklı bir kalkış zamanıyla başladığını görmezden geldi ve o zamanı olduğu gibi kabul etti.

Açıklamalar, Düşünme özelliğini açtığında daha iyiydi; bu tabii ki belli olan bir şey. Ancak bazı modeller yanıtları gereğinden uzun sürüyor. Kafeinin sizi neden çökerttiğine dair bilimsel bir açıklama istedim ve süreci doğru şekilde özetlemeden önce 28 saniye düşündü. Düşünme kapalıyken biraz daha gevşek davrandı: yerel yapay zekâya dair yeni başlayanlar için bir açıklamada sözel sınırımın dışına çıktı ve GPU’yu önce bir kütüphane, sonra kitapları okuyan şey olarak adlandırdı. Yine de fena değil.

Güncel bilgi, küçük çevrimdışı modellerin genellikle takıldığı yer. En son LM Studio sürümünü sormam, bana uydurma bir şey vermek yerine internet erişiminin olmadığını dürüstçe belirtmesini sağladı. İşte araç çağırma burada öne çıkıyor, çünkü güncel bilgilere erişmesi için ona ya MCP üzerinden ya da başka bir yolla web erişimi sağlamanız gerekecek; Empero da bunu söylüyor. Temel Qwen3.5 9B, modellerin araçları ne kadar iyi kullandığını test eden BFCL-V4 benchmark’ında 66,1% puan alıyor ve Empero, Qwythos’un web arayabileceği zaman kendi test sorularının yedisinin dördünü doğru cevapladığını söylüyor. Brave Search MCP’imi açtığım an sorumu doğru cevapladı.

Görüntü işleme en sallantılı olanıydı; bu da mantıklı, çünkü Empero onu ne eğittiyse ne de test etti. Tasarladığım bir uygulamanın ekran görüntüsünü verip tasarım geri bildirimi istedim. Yapılacak düzeltmeler kötü değildi ama oldukça jenerikti ve bazıları her şeyden çok tahmin gibi okunuyordu.

Buluta göndermeye değecek şeyler yeniden düşünülüyor

Genel olarak, Qwythos’un mantık problemleri ve açıklamalar gibi küçük işlerin makul bir kısmını üstlenebileceğini düşünüyorum. Bu kesinlikle PC’mde duracak bir model ve zaten Gemma modellerini bu model için biraz ihmal edeceğimi görüyorum, çünkü açıklamalarda genellikle başvurduğum Gemma. Bu temel işleri Claude yerine Qwythos’a yönlendirmek bana oran sınırlarından tasarruf da sağlayacak. Ancak kodlama ve tasarımı iyi alamıyor, bu yüzden bu tür görevler yine Claude’a gidecek.