Claude Code’u 16GB’lik GPU’mda açık kaynak rakibini ezeceğini düşünmüştüm, ama durum böyle olmadı.

Claude Pro aboneliğimin 20 dolarlık kısmının büyük bölümü Claude Code‘dan geliyor ve bu, Claude’un bir yıldan fazla süredir neredeyse tüm büyük ajanlı kodlama testlerinde zirvede olmasını düşünen kimseyi şaşırtmayacak. Kolaylığı sayesinde kendini de ödüyor; çünkü ona sadece bir iş veriyorum, o benim yerime kodu yazıyor, çalıştırıyor, bozuk olanı düzeltiyor ve bana bitmiş aracı teslim ediyor. İhtiyacım olana göre hem bir sohbet botu hem de bir ajan.

Ancak son bir yılda, özellikle yerel AI alanında çok şey değişti. Güçlü ve yetkin ajanlı kodlama artık 20 dolarlık bir ödeme duvarının ardında korumalı bir şey değil ve son dönemde OpenCode’u onun araç çerçevesi olarak kullanarak denediğim Qwen3.6-35B-A3B bunu açıkça kanıtladı. İkinin birbirine ne kadar yakın olduğunu görmek için her iki ajana da aynı işi, boş bir klasörü, benden herhangi bir yardım olmadan verdim ve yerel yığının modeli tamamen GPU’mda çalıştı. İşte bulduklarım.

16GB’lık GPU’m, ağa dokunmadan tüm ajanı çalıştırıyor

OpenCode araçları yönetiyor, Qwen3.6 ise düşünüyor

Temel düzeyde bir AI ajanının onu işlevsel kılan iki yarısı var. İlki, tabii ki, araç çerçevesi; dosyaları okuyan, komutları çalıştıran ve kodu düzenleyen bileşen, arkadaki model ise kararları veren taraf.

Claude Code, Anthropic’in kendi özel modellerini çalıştırdığı araç çerçevesidir. RTX 4070 Ti Super ve Ryzen 5 7600X ile donatılmış PC’mde tercih ettiğim araç çerçevesi açık kaynaklı terminal ajanı OpenCode v2.2.0, model ise llama.cpp çalışma zamanı üzerinden sunulmuş Unsloth’un UD-IQ4_XS quant sürümü olan Qwen3.6-35B-A3B.

Bu modele ve belirli quant sürümüne aşina iseniz, 17.7GB’lık bir modelin RTX 4070 Ti Super’ın 16GB’lık GDDR6X belleğine nasıl sığabildiğini merak ediyor olabilirsiniz. Sadece token başına yaklaşık 3B parametre aktive eden bir uzmanlar karışımı (MoE) modeli olduğu için, donanımım üzerinde iyi çalışmasını sağlayan özel bir optimizasyon kümesini mümkün kılıyor.

llama.cpp’nin –n-cpu-moe bayrağıyla sistem RAM’inde 12 katman değerinde uzman tutuyorum; bu aynı zamanda yaklaşık 15 GB VRAM ile 128K’lık bir bağlam penceresi için de alan bırakıyor. Örnekleme ayarlarına gelince, kodlama görevleri için Qwen’in kendi önerdiği ayarları kullanıyorum.

Bu yığını tamamen yerel hale getirmek birkaç adım daha aldı. Öncelikle OpenCode’u llama-server’ıma kilitledim, böylece sessizce bir bulut modeline düşemeyecekti; ardından da iyi olması için çalışmadan önce PC’min ağ bağlantısını kapattım.

Bu nicikleme düzeyinde ve 12 katman değerinde uzman sistem belleğine aktarıldığında, üretimi boyunca yaklaşık 65-70 token/saniye seviyesinde kaldı; buna karşılık istem işleme 1.837 token/saniyeye kadar çıktı. Test sırasında tüm oturum, 128K’lık bağlam penceresinin beşte birinden azını kullandı.

Yerel ajan, benden hiçbir yardım almadan çalışan bir araç geliştirdi

Raporladığı her sayı kendi verisindeydi

Her iki ajan için de (Claude Sonnet 5.5 ve Qwen3.6-35B-A3B) verdiğim görev, RTX 4070 Ti Super’ımın güç tüketimini, sıcaklığını ve birkaç başka okumasını her saniye kaydedip ardından sonuçları grafik haline getiren bir GPU kaydedicisi oluşturmaktı. Açık bir doğru cevabı ve doğrulanabilir gerçek tabanı olan bir iş bu. Her iki ajana da aşağıdaki istem verildi:

Bu Windows PC’de bir Nvidia GPU var. Bana, GPU’nun güç tüketimini, sıcaklığını, kullanım oranını, kullanılan VRAM’i ve çekirdek saat hızını her saniye bir CSV dosyasına kaydeden bir Python aracı oluştur. Her satıra bir zaman damgası ekle. –duration seçeneği ekleyerek ne kadar süreyle kayıt yapacağını belirleyebileyim. İşini tamamladığında ortalama ve tepe güç tüketimini yazdır ve zamanla güç ve sıcaklığın bir grafiğini PNG olarak kaydet. 30 saniyelik bir çalışmayla test et ve sonuçları bana göster.

Qwen3.6-35B-A3B, OpenCode üzerinden 3 dakika 44 saniyede tamamlandı ve benden tek bir yönlendirme bile almadı. nvidia-smi‘yi kendi başına buldu, scripti yazdı, test etmeden önce gözden geçirdi ve istekte belirtilen tüm gereksinimleri karşıladı. Bildirdiği 27,32W ortalaması ve 74,83W zirve değeri, yazdığı ham CSV ile uyumluydu ve okuması, karşılaştırmak için daha sonra çalıştırdığım nvidia-smi ile de örtüşüyordu.

Python aracı kusursuz çalışırken, çalışma süreci tamamen kusursuz değildi. İlginç bir şekilde, ikinci bir çalışmada “VRAM kullanımı 15,7GB civarında stabildi—monitör ve birkaç arka plan uygulaması olan bir masaüstü bilgisayarla tutarlı” şeklinde bir yorum yaptı. Böyle bir şey yapan herhangi bir masaüstü bilgisayarı beni endişelendirirdi. Ayrıca scriptin pandas ve matplotlib Python kütüphanelerine ihtiyaç duyduğunu hiçbir zaman belirtmedi, bu yüzden yeni bir bilgisayarda bu kullanım notlarını takip eden biri ilk çalışmada bir hata ile karşılaşır.

Claude daha hızlıydı, ancak fark görsel işlenişe indirgendi

Ve görsel işleniş, ayda 20 dolar için zor satılan bir şey

Adil olmak gerekirse, belli bir ölçüde, işlenişe harcanan ekstra çore çoğu kullanıcı için değerliydi. Matematik hesaplarını CSV ile tekrar kontrol etti, grafiğin matplotlib gerektiğini belirtti, her satırdan sonra logu kaydetti ve gücü ile sıcaklığı kendi ayrı panellerine böldü. Her iki ajan da doğru sayılarla fonksiyonel bir GPU logcusu oluşturdu, bu nedenle fark tabii ki hem harcanan çore hem de her ikisini kullanmamın bana maliyetlediği paraya indirgendi.

Claude Code’ın /usage paneli oturum maliyetini detaylandırdı ve bu tutar yaklaşık 0,37 doları buldu; bu da Pro planım tarafından karşılandı. Ancak aynı kurulumda ölçtüğüm token başına güç tüketimine göre yerel çalıştırma, elektrik maliyeti açısından yaklaşık yarım santimin beşte birine denk geliyordu.

Yerel ve ileri düzey kodlama ajanları arasındaki uçurum artık bir uçurum değil

Bu karşılaştırmaya dair görüşüm sorulsaydı, yalnızca işlevsellik açısından bakıldığında berabere bittiğini söylerdim. Her iki ajan da çalışan Python kodu yazdı ve istemin talep ettiği her şeyi sundu. Claude, zaman ve kalite açısından biraz önde olsa da, Qwen3.6’nın aynı işi yarım santimin çok daha altında bir maliyetle gerçekleştirmesinin göz ardı edilmesi mümkün değil. Benim iş akışım gibi amiral gemisi model yeteneklerine ihtiyaç duymayan biri için 20 doların ne satın alındığı ve bunun değerinde olup olmadığı akla geliyor.

OpenCode, Anomaly Innovations tarafından geliştirilen açık kaynaklı ajantic kodlama çerçevesidir.