ChatGPT, Claude ve Gemini’yi Bıraktım: Yerel LLM İşleri Devraldı.

Netflix, Spotify veya Apple Music gibi aboneliklerin aksine, burada aylık bir ücret ödemek hizmeti istediğiniz kadar kullanabileceğiniz anlamına gelmez. AI abonelikleri bu şekilde çalışmaz. Ayda 20 dolar, hatta 100 dolar ödeyor olabilirsiniz ve yine de “kullanım limitinize ulaştınız, lütfen daha sonra tekrar deneyiniz” diyen kibar küçük bir mesajla karşılaşabilirsiniz.

Ekle XDA Google’da

Aşama Kaynağı Olarak Ekle

Google Discover’dan Takip Et

Sironi şu ki, AI muhtemelen ödediğiniz en pahalı aboneliklerden biri olsa da, buna rağmen sizi kilitleyebilen az sayıdaki abonelikten biri! İşte nedenlerden biri (ve diğerleri) ChatGPT, Claude ve Gemini’ye her küçük iş için başvurmayı bıraktım.

Sınırlı kullanımımı bu araçların yapabileceklerinin ancak yüzeyini bile göstermeyen işlere harcamak yerine, bunları doğrudan cihazlarımda çalışan yerel bir LLM’e devretmeye başladım.

AI’ı her şey için kullanmaya biraz fazla alıştık

Her şey için güçlü bir AI modeline gerek yok

Bir şeyi aramak eskiden neredeyse bir refleks miydi? İster rastgele bir sorunuz olsun, ister anlamadığınız bir terimi öğrenmeniz gerek veya bir arkadaşla bir tartışmayı bitirmeniz, ilk tepkiniz muhtemelen Google’ı açıp aramak oluyordu.

Aslında, sohbet botlarının Google’ın bu konudaki yerini yavaş yavaş aldığını düşünüyorum. Üzücü ama gerçek. Bir soruyu arama motoruna yazıp tek bir sonucu bile tarayarak cevap bulmak yerine, çoğu zaman ChatGPT, Claude, Gemini veya tercih ettiğiniz sohbet botuna doğrudan cevap almak çok daha kolay.

Sorularla sınırlı kalmıyor! AI’ın parmaklarımızın ucunda olması o kadar rahat ettiki ki, en küçük işler için bile bir sohbet botuna başvurmak neredeyse ikinci doğmuş oldu. İnsanların kıyafetlerinin iyi görünüp görünmediğine karar vermek için bile AI’a başvurduklarını gördüm!

Sorun, bu isteklerin her birinin, AI’dan karmaşık bir soruyu çözmesini isteyip istemediğinize ya da yalnızca bir cümleyi yeniden ifade etmesini isteyip istemediğinize bakılmaksızın kullanım limitlerinize sayılması.

Bu limitlerle karşılaşmanın yarattığı hayal kırıklığının ötesinde, bulut tabanlı AI’a ne sıklıkla güvendiğimi sorgulamaya başlamama neden olan başka bir sebep daha var: çevresel etkisi.

Güçlü AI modellerini çalıştırmak büyük miktarda hesaplama gücü gerektirir ve arkalarındaki veri merkezleri elektrik tüketir, pek çok durumda da soğutma için ciddi miktarda su harcar. AI talebi büyüdükçe, bunu desteklemek için gereken altyapı da büyür. Elbette bulut AI’ının tamamen kullanımını durdurmamız gerektiğini söylemiyorum; ancak her küçük görevin gerçekten dünyanın öbür tarafındaki devasa bir veri merkezine gönderilmesi gerekip gerekmediğini sormak değer.

Aslında AI’ı ne için kullandığınıza bakın

Küçük şeyler birikir

Bunu bir gazeteci olarak yazdığımı biliyorum, bu yüzden bundan sonra yazacaklarım ruhumu acıtıyor ve kişisel düzeyde bana pek ait değil. Ancak bir yazar değilseniz, muhtemelen yazım yardımı için AI kullanmaya biraz alışmışsınızdır.

Bunu yaptığınızı ya da yapmamanız gerektiğini söylemiyorum; bunu, insanlarla yaptığım sayısız görüşmeye dayanarak söylüyorum. Hatta AI şirketleri bile modellerinin neler yapabileceğini gösterirken sık sık yazıyla ilgili görevleri örnek olarak kullanıyor.

Şimdi, insanların AI’a başvuracağı iki tür yazı görevi var. Biri, “bana XYZ hakkında bir SEO makalesi yaz” tarzında, tam teşekküllü görev; bu, web’den araştırma yapmayı, doğru bilgileri doğrulamayı ve tutarlı, iyi yapılandırılmış bir metin oluşturma yeteneği gerektirir. Güçlü bir bulut tabanlı modele erişimin fark yaratabileceği türden bir görev bu.

Diğeri ise çok daha basit. Uydurma bir cümleyi yeniden düzenlemek, dilbilgisi hatalarını düzeltmek, bir e-postayı daha profesyonel bir üslupla yazmak ya da biraz uzun gelmeye başlayan bir paragrafı kısaltmak gibi işler. Bu görevler kapsamlı bir araştırmaya, karmaşık bir muhakemeye ya da güncel bilgiye erişime ihtiyaç duymaz. Dünyanın en güçlü yapay zekâ modellerinden birinin bunu üstlenmesine gerçekten gerek var mı? Yerel LLM’imi aylardır Grammarly yerine kullanıyorum!

Mevcut metni temizlemek tabii ki tek örnek değil. Şu anda bir öğrenciyim, bu yüzden yapay zekâ kullanımım doğal olarak onu bir öğretmen gibi kullanmaya yöneliyor. Çalışırken NotebookLM gibi araçlara sık sık dayanmanın yanı sıra, takıldığım anda soru sorabilmek için neredeyse her zaman başka bir sekmede açık bir sohbet botum oluyor.

Bazen bu, onu beni oldukça kafa karıştırıcı bir kavramla adım adım eşleştirmekten ibaret oluyor. Bazen de bir terimin ne anlama geldiğini sormak, başka bir örnek istemek ya da ilk seferde tam anlamadığım bir şeyi hızlıca açıklamak gibi basit bir şey oluyor.

Güçlü bir bulut tabanlı modelin gelişmiş muhakeme yeteneklerine zaman zaman ihtiyaç duysam da, sorduğum her soru bu düzeyde bir zeka gerektirmiyor. Doğrudan tanımlar, açıklamalar ve örnekler için küçük bir yerel LLM çoğu zaman işi gayet iyi hallediyor.

Başka bir örnek ise yapay zekâ kullanarak kendin için oturttuğun nispeten basit işler. Örneğin, en önemli e-postalarını özetleyen ya da günün içinde neler olduğunu sana ayrıntılı biçimde gösteren bir otomasyonun olabilir. Ya da, kendi iş akışın için özel olarak bir araç geliştirmiş olabilirsin. Benim kişisel olarak, çektiğim her ekran görüntüsünü otomatik olarak yeniden adlandıran, ona macOS’ün varsayılan olarak verdiği jenerik ismi yerine görüntüdeki içeriğe dayalı betimleyici bir isim veren bir yeteneğim var.

Başta bunu, bir ekran görüntüsünü yeniden adlandırmam gerektiğinde her çalıştırdığım bir beceri oluşturarak Claude üzerinden hallediyordum; ancak sonradan bunu, Mac’imde yerel olarak çalışan Gemma 4’ü kullanan betik tabanlı bir uygulamayla değiştirdim. Sonuç neredeyse aynı, tek fark bir ekran görüntüsünü yeniden adlandırmak istediğimde artık bulut tabanlı bir modele güvenmemem ya da her seferinde Claude kullanım limitlerimi tüketmemem.

Yerel LLM’leri hem telefonumda hem de MacBook’umda çalıştırıyorum

Yerel AI karmaşık olmak zorunda değil

Yerel LLM’leri daha yoğun görevler için cihazlarımda çalıştırmayı çok isterim; ancak şu anda yalnızca 8GB RAM’e sahip bir MacBook ile çalışıyorum. Bu da küçük görevleri dışarıya devretmeyi, gerçekçi olarak yapabileceğim tek şey kılıyor. Cihazlarımda iyi çalışan bir sürü yerel LLM denedim, ancak nihayetinde Gemma 4’e karar kıldım. Daha küçük varyantları, donanımımın başını ağrıtmadan çalışabilecek kadar hafif, yine yukarıda bahsettiğim günlük görevlerin çoğunu halledebilecek kadar yetenekli.

Özellikle yerel bir LLM’i telefonumda kullanmaktan hoşlanıyorum. Google AI Edge Gallery’yi, tıpkı ChatGPT, Claude ya da Gemini’yi açar gibi kolayca açıp, internet bağlantısına ihtiyaç duymadan ya da kullanım limitlerinden endişe etmeden aklıma gelen herhangi bir soruyu sorabilmem inanılmaz derecede pratik.