Ay boyunca Google aramayı yerel bir LLM ile değiştirdim ve cevapları bulma şeklimi “garip” olmaktan.

Google ile arama yapmak eskiden her şeye cevaptı. Ama bugünlerde cevap, muhtemelen doğru olmayan beş sponsorlu sonucun ve bir AI özetinin biraz altında bir yerde oturuyor. Cevaba ulaşmak, sorunun gerçekten layık olduğundan çok daha fazla kaydırma gerektiriyor ve kullanıcı davranışları göz önüne alındığında bu genellikle en kolay olandan memnun kalmak anlamına geliyor; ki bu da yeterli olmayabilir.

Yerel LLM’ler, hiçbir şeyi büyük teknoloji şirketlerine göndermeden soruları cevaplamada iyi hale geldiler ve ben de yakın zamanda birine dosya sistemine erişim verdim, bu da büyük ölçüde Windows Søg’nın yerini aldı. Ama 8GB’lık bir GPU‘ya sılan model genellikle küçük bir modeldir ve yalnızca eğitildiği şeyi bilir; bu da güncel ve mevcut olayları elemiş olur. Bu yüzden, beninem internet erişimi verdim.

Google Søg’daki sorun

Cevabı bulmak artık hazine avına benziyor

Google arama yıllardır kötüleşiyor ve bunun arkasında asıl bir araştırma var. Almanya’dan bir yıllık çalışma Google, Bing ve DuckDuckGo üzerinde 7.392 ürün incelemesi aramasını izledi ve en üst sonuçların çoğunun affiliate bağlantıları etrafında kurulu sayfalar olduğunu ve bunların iyi bir kısmının da açıkça SEO spamı olduğunu buldu. Adil olmak gerekirse, araştırmacılar Google’ın kendilerini gözlemledikleri yıl içinde biraz iyileştiğini söyledi; ama ortalama kullanıcı muhtemelen bunu fark etmezdi ve yine de gün sonunda tamamen spamla doluydu.

Ardından AI görünümleri geliyor; bunlarla bir sevgi-nefret ilişkim var. İnanılmaz derecede kullanışlılar, ama hangi bedelle? AI özetleri genellikle forumlardan kişisel görüşleri gerçekmiş gibi sunar, bu yüzden tüm bilgileri yine de kendiniz doğrulamalısınız ve o noktada eskiden olduğu gibi kaydırmaya devam etmekten başka bir şey yapmıyorsunuz. Üstelik Google artık reklamları da AI özetlerinin içinde çalıştırıyor.

Yani mesele Google arama’nın tamamen işe yaramaz olması değil; ortam basitçe değişti ve daha iyi yönde değil. Google, hiçbir şeyi okumadan önce ne göreceğimi belirliyor. Bir sonuç sayfasının üst kısmının çoğu, önümde olmasını istediği şeyler ve mutlaka aradığım şey değil.

Yerel LLM’me interneti verme

Yerel modelim Google’a sormadan bir şeyleri arayabiliyor

Bir yerel model yalnızca eğitim verisinde ne vardıysa onu bilir. Bu, aslında sadece bir şeyin açıklanmasını istediğinizde ya da ihtiyaç duyduğunuz bilgi birkaç yaşındaysa tamamen uygun. Ama güncel olan her şey tahminle sonuçlanacaktır; örneğin ben Gemma E4B’ye bugünün tarihini sorduğumda, 2016 diyerek iddialı bir şekilde cevap verdi.

Düzeltme, modele bir şeyleri arama yolu vermektir ve ben bunu sonunda Jan içinde yaptım, basitçe çünkü bu en az can sıkıcı seçenek. Kurulum, bir yapılandırma dosyasını düzenlemek yerine ayarlarda bir anahtarı açmak ve Jan tarayıcı eklentisini kurmak kadar kolaydır. Varsayılan olarak API anahtarı olmayan ücretsiz bir uç nokta üzerinden Exa ile arama yapar; bu aynı zamanda sorularımın Google üzerinden gitmediği anlamına gelir.

Søg ve getirme farklı işler yapar – arama modele başlıklar ve kısa alıntılarla bir sonuç listesi sağlar, getirme ise o sayfalardan birini açıp gerçek metni okuyan kısımdır; aksi halde model çoğunlukla alıntılar üzerinden çalışır. Jan’ın yerleşik web araması modele her ikisini de verir, böylece kendi başına bir arama yapıp okumak için bir sonucu seçebilir ve getirilen sayfalar modele ulaşmadan önce belirli bir uzunluğa indirgenir; böylece tek bir sayfa bağlamı dolduramaz.

LM Studio bunu da yapabilme yeteneğine sahiptir ve ben zaten içine Brave Søg kurulumunu yaptım, bu, kendi indeksini çalıştıran bir motor istiyorsanız yapmaya değer; Google veya Bing’den ödünç almak yerine. Bir Brave Søg API’sine kaydolmayı ve ardından mcp.json dosyasını düzenlemeyi içerir.

Küçük bir modelin aramalarıma izin verme

Modelim artık cevaplamadan önce araştırmaya gidiyor

8GB’lık bir kartta, modellerinizi seçmek artık bir şeyleri aramaya çalışıp çalışmayacağına bağlı olacaktır. Qwen ailesi araç çağırma konusunda çok güçlüdür, bu yüzden oradan bir şey seçmenizi öneririm – daha hafif sohbetler için benim tercihim Qwen 3.5 4B Q4_K_M ve daha ağır işler için de aynı şekilde Q4_K_M’deki 9B’dir. Gemma’nın aksine, sorulmadan arama kullanır.

Bir kez yaptığında arama yapar, Jan süreci takip etmeyi oldukça kolay hale getirir. Qwen okumak istediği sayfaları çeker ve küçük bir ilerleme çubuğu bunların üzerinden çalıştığını gösterir ki bu genellikle tamamlanması için yalnızca birkaç saniye alır. Jan aynı zamanda modelin hangi aracı kullandığını da söyler, böylece gerçekten bir sayfayı okuduğunu yoksa sadece arama alıntılarından gittiğini ayırt edebilirsiniz.

Søg Qwen’i %100 güvenilir yapmadı. Bu ay Obsidian’ın ne yaydığını sorduğumda on kaynak çeker ve ardından güncellemeyi Ekim 2035 olarak tarihlendirirdi. Altındaki başlık 2045 diyordu ve verdiği sürüm numarasının hiçbir yerde var gibi görünmüyor. O on kaynağın çoğu üçüncü taraf eklenti değişiklik günlükleriydi; yalnızca biri doğrudan Obsidian’dandı, bu yüzden gevşekçe ilgili sayfalardan bir yığın okuyup birbirine karıştırdığını düşünüyorum. Ama savunması için, sorum oldukça belirsizdi; Qwen ile onu dizginlemek için daha fazla ayrıntı vermeniz gerekir. Ayrıca, bu zaten ortalama bir AI özetinin nasıl göründüğü.

Jan her cevabın altında kaynakları listeler ve siz bunların her birini açabilirsiniz, bu yüzden doğrudan resmi sayfaya gidip kontrol edersiniz. Bu özelliği uygulama şekli çok kullanıcı dostudur – tüm kaynaklarınız altta düzenli bir şekilde yığılır.

Ama bağlama dikkat edin. Aramalarımdan biri bağlam penceresimin %70’ini kullandı ve bu, Qwen’i 30k bağlam uzunluğuna ayarladıktan sonra oldu! Bu yüzden daha küçük bir GPU ile çalışıyorsanız, model, nicelleme, bağlam uzunluğu ve sorunuzu nasıl formüle ettiğiniz arasında bir denge bulmaktan başka bir şey yapmayacaksınız. Engeller gibi gelmiş olabilir ama aslında aratmak için neye dikkat edeceğiniz konusunda sizi daha bilinçli kılar ki bu da AI arama motoru oyununa girdiğinden beri kaybolmuş bir sanat.

Yine de Google’ı açıyorum, ama farklı sorgular için; örneğin bir hesap girişine gitmek ya da şu an etrafımda açık olan restoranları bulmak gibi aşırı spesifik gerçek zamanlı bilgi aramak için. Ama sorular artık benim yerel LLM’imde başlıyor, düzgün şekilde yazılmış olarak. Şimdi sadece bu aynı kurulumu telefonuma almak istiyorum; ama bu bambaşka bir hikaye.