Windows 11 Panosu’na Yerel Bir LLM Beyni Verdim: Basit Kopyala-Yapıştır İşlemleri Çok Daha Verimli Hale Geldi.

Kağıt üzerinde, yerel olarak barındırılan modeller, bulut sunucularında çalışan devasa öndeki (frontier) modelleri kadar hesaplama gücüne sahip değil. Ancak son birkaç aydır eski donanımımı en üst seviyede zorlayan biri olarak, üretkenlik ihtiyaçlarımın büyük çoğunluğunun ev laboratuvarı düğümlerimde çalışan yerel LLM’ler tarafından kolayca karşılandığını itiraf etmeliyim. Hatta, kendi barındırdığı üretkenlik uygulamaları ve hafif ajan çerçeveleri yelpazemle, yerel yapay zeka modellerime dayanan makul derecede bir hizmet koleksiyonum var.

Klavye panosu asistanım da bu paketin böyle bir eklentisi. Basit bir araçmış gibi görünse de, kopyaladığım öğeler üzerinde analiz görevleri çalıştırma, metni farklı dillerde çevirme ve ekran görüntüleri üzerinde OCR yüklemeleri yapma imkanı sunuyor – premium abonelik ücreti ödemeden ya da verilerimi dış sunuculara göndermeden.

Sirius AI Tray Assistant, klavye panosuna bağlanan yerel araç

Gemma 4 E4B, bu kurulumun beyni olarak görev yapıyor

Klavye panosu asistanım, günlük görevlerim sırasında kopyalayacağım her metne erişim kazanacağından, gizliliğime saygı duyan ve basit çıkarım görevleri için arka plana veri göndermeyen bir şey kullanmak istedim. Çeşitli topluluk kaynaklı araçları inceledikten sonra, geliştirici Zoott28354’in Sirius AI Tray Assistant depo’suna ulaştım ve bu kendi barındırdığı klavye panosu yöneticim için mükemmel bir eş gibi görünüyordu. Ancak bunu kurulumumda nasıl kullandığımı anlatmadan önce, bu uygulamayı çalıştıran LLM’ye kısaca değinmem gerekiyor: Gemma 4 E4B (Q4_K_M). Etkili parametre boyutu 4.5B olduğundan, silah zırhımdaki neredeyse her GPU’da çalışacak kadar hafif.

Daha da güzeli, eski grafik kartlarımda uçurum hızında çalışıyor – o kadar ki RTX 3080 Ti, bu LLM için 110’dan fazla ikili/saniye oranına rahatlıkla ulaşıyor. Çıkarım görevlerinin tamamlanması için birkaç dakika beklemek istemeyeceğim bir pano analiz aracında, Gemma 4 E4B + RTX 3080 Ti kombinasyonu verimlilik görevlerim için gerçekten iyi uyuyor.

Yerel LLM’imi Sirius AI Tray Assistant ile eşleştirmek neredeyse aynı kadar kolaydı. Bu pano eşini indirdikten sonra, tepsi menüsündeki Yapılandırma düğmesini açtım, sunucu olarak llama.cpp’yi seçtim ve Gemma 4 E4B ana bilgisinin adresi olarak http://localhost:8080/v1 bağlantısını kullandım.

Bu arada, günlük kullanım bilgisayarımın GPU’sunu her zaman LLM çıkarım görevleri için ayıramadığım için burada uzak bağlantılarla da denemeler yaptım. Ve bir Özel sunucu profili kullanıp Proxmox destekli LXC’mde çalışan llama-server’a işaret eden IP adresini eklediğim sürece, arsenalimdeki diğer GPU’ları Sirius Assistant’ta pano çıkarım işlemlerini yönetmek için kullanmaya devam edebiliyorum.

Özel pano komutları bu kurulumu verimlilik için bir nimet yapar

Kalıcı bellek önemli analiz görevlerini saklar

Varsayılan olarak, Sirius AI Tray Assistant’ın menüsündeki analiz seçeneği, panomun içeriğini İngilizce’ye dönüştürmek ve bunların kullanım yararına dair detaylı bir analiz üretmek için Gemma 4 E4B örneğimi kullanıyor ve bu baş başına oldukça etkileyici. Ancak bu aracı günlük işlerle başa çıkarken bir güç merkezi yapan şey, analiz işlemini kendi kullanım senaryoma uygun şekilde özgürce düzenleyebileceğim özel komut penceresidir.

Örneğin, projelerimi belgelediğimde sık sık PowerShell betiklerini, Linux komutlarını ve rastgele kod parçacıklarını alırken biçimlendirmeyi kaldırmam gerekiyor. İşte metin aramalarım için özel komut olarak “Biçimlendirmeyi temizle” talimatını eklemek işi hallediyor. Koddan bahsetmişken, bu AI uygulamasını sık sık belgelerden kopyaladığım komutlar, parçacıklar ve betikler üzerinden geçecek şekilde yapılandırdım; yapmam gereken tek şey Metni Analiz et seçeneğine tıklayıp ne yapabileceğine dair kısa bir özet almak.

Aynı şekilde, farklı bir dilde bir şey araştırıyorsam, “İngilizce’ye çevir” yönergesini açık bırakıp Sirius + Gemma 4 E4B birleşiminin büyüyü yapması için birkaç saniye bekleyebilirim. Clipboard içeriğine danışmam gerekebilecek görevlerde ise her zaman Sirius AI’deki kalıcı sohbet kayıtlarına erişebilirim.

Ekran görüntüleri üzerinde OCR görevleri için oldukça kullanışlı

Kopyaladığım metnin ötesinde, Sirius Assistant Windows Snipping Tool ile oluşturduğum ekran görüntülerine bakabiliyor ve LLM görüntü analiz yetenekleriyle geldiği için Gemma 4 E4B ile iyi çalışıyor. Örneğin, eski ve güvenilir Ctrl + C kısayoluyla kopyalayamadığım bir metnim varsa, Windows Snipping Tool ile onun ekran görüntüsünü alıp Sirius + Gemma 4 E4B’nin onu vurgulayan bir OCR raporu oluşturmasını sağlayabilirim – söz konusu metin biraz da okunabilir ve tabii ki piksellenmiş bir dumanlıktan ibaret değilse elbette.

Sirius AI Tray Assistant en yeni iş arkadaşımdı

Sirius Assistant’ı çalıştırmak için ya yekun bir GPU’ya ihtiyacım olmaması ya da büyük bir ücret ödememem nedeniyle, Sirius Assistant ev laboruarımındaki eski sistemlerle iyi uyum sağlıyor. Hatta onu GTX 1060’lı laptopumda ve GTX 1080 güçlü llama.cpp LXC’imde çalıştırdım ve her iki kurulum da günlük görevler için yeterince hızlı. Her şeyin yerelde çalışması gerçeğiyle birleşince, neden onu kendi silah aramımdaki tüm Windows makinelerine kurduğumu görebilirsiniz.