8GB GPU’lu 27B Modelle İşini Çözünce Daha Büyük Yerel Modelleri Takip Etmeyi Bıraktım.

Küçük bir kartta yerel modeller çalıştırmak neredeyse her zaman bir tavana sahiptir, bu yüzden 4B ile 9B arasında bir yerde yaşamak zorundasınız. Her birkaç haftada bir yeni bir Qwen sürümü Hugging Face‘e daha büyük sayılarla birlikte düşüyorum ve kartıma sığabilecek en büyük sürümü kapma isteği oluşuyor. Genellikle sızmaz. Ya da sızar, ancak modelin yarısı sistem RAM‘inde olur ve yanıtlar tek kelime tek kelime çıkar.

Bu tam olarak parametre sayılarını kovalamayı bıraktığım ve artık donanımım için optimize edilmiş modelleri doğru ayarlarla kullanmaya odaklandığım için. Ancak indirme klasörüm, daha büyük modelleri sızdırmaya çalıştığımı kanıtlıyor çünkü bir noktada dışarıda kalmaya başlıyorsunuz. Ve biri aslında 4B’lerim kadar pürüzsüz çalışan bir 27B modeli oldu.

27B’yi 8GB kartımda nasıl çalıştırıyorum

Küçük bir boyut aramak zorunda değildim

Bonsai 27B, PrismML’den geliyor ve Temmuz ayında yayınlanan Qwen 3.6 27B’nin sıkıştırılmış bir sürümü. Tam model muazzam 54GB, ancak kullandığım 1-bit her ağırlığı yaklaşık tek bir bit saklar ve bunu yaklaşık 4GB’a indirir. PrismML ayrıca bir ternary sürümü ve daha yeni Bonsai 2 yapıyor, ancak her ikisi de yaklaşık 5-7GB ile daha büyük, bu yakın gibi görünse de, ternary zaten 8GB kartın çoğunu dolduruyor.

Aslında LM Studio’nun model aramasında bir Staff Pick ve benimki paket içindeki vision dosyasıyla birlikte tam olarak 5GB’ın altında geldi. Modelin tamamını GPU‘ya offload edebilirim ve yine de bağlamı üst tarafta tutabilirim (yerel standartlarla 30k civarından bahsediyoruz) bu da konuşmaları daha uzun süre sürdürebilir ve ayrıca kod ve tasarım üzerinde daha uzun süre iterasyon yapabilir. Bonsai 262K token’a kadar destekler, ancak buna hiç gerek yok.

Bonsai ayrıca bir sorunu yanıtlamadan önce düşünür ve eski bir presetim bu düşünmeyi ilk başta 1.024 token’a kadar sınırladı, bu yüzden yanıtların ortasında kesildi. Ancak PrismML’in önerdiği ayarlara yakın yeni bir preset bunu çözdü.

Bonsai’yi günlük görevlerde kullanmak

Bulut botlarına gönderdiğim o kısa soralı sorular, ama gizli şekilde

Yerel modele sorduğum şeylerin çoğu ciddi iş değil; daha çok sıradan sorular, ama yine de sağlık ve finans belgelerimle ilgili daha hassas bilgiler etrafında dönüyor. Sürpriz derecede samimi bir tonu var, neredeyse Gemma 4’e benziyor, belki de Claude Sonnet’i andırıyor ve bazen beni daha fazla dahil etmek için kendi sorularıyla prompt’ları kapatıyor.

Rakamlarla oldukça iyi, 92.8 puan alıyor GSM8K’da; bu, günlük matematik problemlerinden oluşan bir benchmark ve finans belgesinde birkaç sayının toplanması veya karşılaştırılması gerektiğinde işi kolaylaştırıyor. Sistem prompt’una da iyi tutunuyor. Örneğin, sistem prompt’larımdan biri, listeler yerine kısa düz metin paragrafları istiyor ve Bonsai bu biçimi tüm bir sohbet boyunca koruyor. Yine de genel bilgiye göz kulak tutuyorum çünkü PrismML’in kendi sayıları sıkıştmanın en çok bu alanda maliyet çıkardığını gösteriyor, dolayısıyla bazı şeylerin siz tarafından doğrulanması gerekebilir.

Her iki özelliği de var: Thinking ve Vision. Thinking’i, hangi yerel model olursa olsun çoğu yerel modelimde açık bırakmıyorum çünkü bağlam bütçesini sohbetin değerinden çok daha fazla tüketmeye meyilli.

Bonsai 27B’yi MCP’lere ve diğer uygulamalara bağlamak

Araç çağırma ya ya da ya, ama yine de yığıma uyuyor

Bonsai’yi Cherry Studio’ya aktarıyorum; bu, bana LM Studio’dan çok daha fazla iş imkanı sunan tam kapsamlı bir AI çalışma alanı uygulaması ve tamamen özelleştirilmiş asistanlar elde edebiliyorum. Cherry Studio içinde Bonsai mükemmel şekilde çalışıyor. Cherry Studio aynı zamanda Claude ve GPT anahtarlarımı da sakladığı için, aynı iş akışında bunlar arasında geçiş yapabiliyorum; böylece güç gereken görevlerde bulut API’sini, daha gizli işlerde ise yerel LLM’mi aynı çalışma alanında kullanabiliyorum. Cherry Studio, bir prompt’u birden fazla modele yan yana gönderme özelliğine de sahip, bu da yerel modellerinizin bulut modellerine karşı nasıl performans gösterdiğini görmek için pratik bir yol.

Açık kaynaklı Claude Design kopyası Open Design, kendi anahtarınızı getirme seçeneği üzerinden aynı şekilde bağlanıyor. Kodlamanın Bonsai’nin güçlü yanı olmadığını bildiğim için onu Open Design içinde test ediyorum ve aslında tahmin ettiğim kadar bir başarısızlık çıkmadı. Buradaki ekran görüntüsü, istediğim hızlı bir mobil uygulama giriş ekranını gösteriyor; umutsuz derecede sıradan ama adil olmak gerekirse, bağlamın dolmamasını istemediğim için prompt’umda pek detaya inmemiştim. Tüm bunlar verildiğinde, prototip oluşturmaya dair makul bir anlayışa sahip görünüyor. Tek sorun, biraz uzun sürmesi.

LM Studio da MCP’yi destekliyor; bu, bir modele araçlar verme standard bir yolu, örneğin bilgisayarınızdaki klasörleri okumasını sağlamak. Bonsai’nin dosya sistemi MCP’mi kullanma yeteneğini test ediyorum ve şu ana kadar aracı ne zaman kendi kendine çağırması gerektiğini tam olarak biliyor gibi görünüyor; ayrıca dosyalarımdan ve notlarımdan bağlamı da anlıyor.

Ancak Bonsai, genel olarak araç çağırma konusunda en güçlü değil ve bu, Web MCP’mi kullanmaya başladığımda ortaya çıktı. Ne zaman web araması yapması gerektiğini, ne zaman yapmaması gerektiğini anladığı belli değil; bu da bana her seferinde ne zaman Brave Search MCP’mi kullanması gerektiğini söylememi gerektiriyor, aksi halde tarihi doğru bile alamıyor. Bu en kötü senaryo değil çünkü en azından web’ye erişebiliyor; ama bu kurulumun amacı, ona her seferinde söylememem için. Web’ye ne zaman ihtiyaç olduğu konusunda çıkarım yapması gerekiyor.

Asıl kullandığınız model, parametre sayısından bağımsız olarak en faydalı olandır

Orta ve alt seviye tüketici donanımı için optimize edilen, bir öncekinden biraz daha büyük modellerde bir trend görülüyor. Önce Qwen 3.5 9B geldi, ardından Gemma 4 12B geldi; yakın zamanda listeme eklediğim Qwythos 9B da yine harika bir seçenek ve Bonsai 27B bu dizilişe tam olarak uyuyor. Yine de muhtemelen yeni ve daha büyük sürümlerin uyup uymayacağını denemeye devam edeceğim; ancak Bonsai gibi modeller, yerel yapay zekâyı asıl kullandığım işlerin büyük çoğunluğunu zaten hallettiği için bunun gerçekten gerekmediğini gösteriyor.