26 Milyon Parametrelik Yerel Modeli Telefonundaki Gemini ve ChatGPT’nin Yerine Koydu: Bu İşi Yapan Uygulama Ücretsiz.

Uzun süredir telefonumda büyük bir dil modelinin bulunmasının tuhaf bir biçimde güç verici bir yanı olduğunu düşünüyorum. Yolda while sorular sorabiliyor, uzun belgeleri işletebiliyor veya günün ilk işi olarak toplantı notlarını gözden geçirebiliyorum; bunun için önce masaüstünü ayağa kaldırmama gerek yok. Uzun bir süre bu, Google Gemini gibi şişkin bir uygulama kurmak ve o istemlerin ve belgelerin her birini reklam devi sunucularına göndermek anlamına geliyordu.

RTX 4070 Ti Super’ım zaten Qwen3.6-35B-A3B ve Gemma 4 26B A4B gibi bir sürü yetkin modeli çalıştırıyor, ancak o boyuttaki modeller hep masaüstünde sıkışıp kalıyor. Gemma 4 26B’nin 4-bit sürümü, yalnızca ağırlıklar için yaklaşık 14,4 GB’a geliyor; üstelik söylemeye gerek yok ki iPhone’umun öyle bir belleği yok.

Telefonumda o büyük modellerin yeteneğine erişmenin neredeyse pürüzsüz bir yolu olduğunu keşfetmek utanç verici kadar zaman aldı ve LM Studio’nun ücretsiz iPhone uygulaması, telefonumu PC’mdeki modele bağlayarak bunu yapmayı kolay ve ücretsiz kılıyor. Evdeki herhangi bir mobil cihazdan erişmek istediğiniz bir yerel AI kurulumunuz varsa, bunu sorunsuz bir şekilde yapmanın bir yolunu sunuyor.

LM Studio modeli çalıştırır, LM Link ise onu PC’me ulaştırır

Ve tüm verilerim, satın aldığım donanımda kalır

Yerel AI çıkarımıyla tamamen yeni değilseniz, LM Studio hakkında zaten bir ihtimalle duymuşsunuzdur. Bu, donanımınızda yerel modelleri indirmenizi ve çalıştırmanızı sağlayan bir çalışma zamanıdır; üzerinde olduğum sürüm olan v0.4.28, LM Link adını verdikleri bir özelliği beraberinde getiriyor. Bu, diğer cihazlarımla PC’mdeki modeller arasında bir köprü gibi davranıyor ve Tailscale üzerine inşa edildiği için bağlantı uçtan uca şifreli ve PC’m internete açıkta değil.

En sık kullandığım model, Google’ın resmi 4-bit Gemma 4 26B A4B sürümü. Google’ın kaliteyi bfloat16’ya, yani orijinal 16-bit formatına yakın tuttuğunu söylediği bir QAT (Quantization-aware trained / Nicelemeye duyarlı eğitilmiş) varyantı. Bu modeli tercih etmemin nedeni, tamamen mevcut VRAM’ime sızması. Bu konuda LM Studio, indirme başlamadan önce “Full GPU Offload Possible” (Tam GPU Offload Mümkün) rozetini gösterdiği için zaten haberdardım. 16K bağlam penceresini sabit tutarken tüm 30 katmanın GPU üzerinde kalabilmesi onu kullanımı kolay kılıyor.

Telefonum 26B’lik bir modeli çalıştırmadan kullanabiliyor

Yerel bağlantı Wi-Fi’da mıyım yoksa mobil veri mi, umurunda değil

Telefon tarafında tek ihtiyacın olan uygulama Locally; Apple App Store üzerinden 116MB’lık bir indirme. Her şeyi çalışır hale getirmek için LM Studio hesabımla giriş yapmam gerekti, uygulamada PC’m Gemma 4’ün altında listelenmişti. Hemen kullanıma başlayabildim ve diğer herhangi bir sohbet uygulaması gibi çalıştı. Tek fark, sunucunun yatak odamda olmasıydı.

Beni en çok etkileyen şey, Locally’nin iPhone’umda llama.cpp sunucumun tek başına yapamadığı bir şeyi yapabilmesiydi: bilgisayarımdaki modellere aynı ağın üzerinde olmadan erişebilmek. İlk başta beni LM Studio’ya yönlendiren şeylerden biri de buydu.

Gerçekten iyi çalışıp çalışmadığını test etmek için iPhoneumdaki Wi-Fi’ı kapattım ve internete mobil veri üzerinden bağlandı. Masaüstü bilgisayarımdan Gemma’ya erişmeye devam edebildim ve yönlendiricimde tek bir port açmak zorunda kalmadan bunu başardım. Aynı şeyi llama-server kurulumumda başarmak bir VPN kurmayı ya da internete açmayı gerektirirdi; ikisi de zaman ve emek gerektiren işlerdir.

Peki, modele ihtiyacım olduğu sürece bilgisayar açık kalmalı

Ve LM Link sonsuza kadar ücretsiz kalmayabilir

Bu kurulum ne kadar pratik olsa da, birkaç şartı var ve sınırlamaların bazıları, llama.cpp çalışma zamanı aracını kullanarak bir LLM sunucusunu kendi başınıza barındırdığınızda karşılaşacağınız türden. Bunlardan biri, PC’nin ben uzakta olduğum sürece sürekli açık ve uyanık kalması gerektiği; çünkü Locally, yalnızca üzerinde çalışan modeli gösteren bir pencere. Windows masaüstünü uyku moduna aldığında telefon, sunucuya ve dolayısıyla modele olan bağlantıyı kaybediyor.

Henüz tam bir sorun olmasa da, yakında böyle olabileceğini düşündüğüm bir diğer yön ise LM Link’in yalnızca Preview içinde bir özellik olarak ücretsiz olması ve LM Studio’nun tam sürümü yayımlarken ücretli katmanlar eklemeyi planlaması. Üstelik Locally yalnızca iOS cihazlarla sınırlı, bu yüzden Android kullanıcıları şu an için llama.cpp’e yönelmek zorunda.

Yetenekli yerel modellerim yalnızca masaüstü ekranımla sınırlı değil

Locally’i bir hizmet olarak kullanmaya başlasaydım, mevcut durumuyla oldukça memnun olurdum. Vaat ettiği şeyi yapıyor: yatakdaki GPU çıkarımı yaparken, PC’mde çalıştırmayı sevdiğim en faydalı modellerden bazılarını cebimdeki gibi yanımda tutmayı sağlıyor. Aynı zamanda ChatGPT ve Gemini’ye olan bağımlılığımı azaltıyor ve buluta koymak istemediğim tüm belgeleri bunlardan uzak tutarken, onları sorgulamak için ihtiyaç duyduğum güçlü modeli yine sunuyor. Böyle bir aracın birçok gelişmiş kullanıcı için faydalı olacağını düşünüyorum.

LM Studio, bilgisayarınızda çalışan bir LLM ile sohbet etmenizi sağlayan çok platformlu bir uygulama. Yüzlerce model ve her türlü bilgisayar desteğiyle, LLM’leri deneyimlemenin en iyi yolu.