Basit görevlerde, yerel olarak barındırdığım büyük dil modelleri (LLM’ler) yeterince güvenilir sonuçlar sunuyor. Ancak karmaşık hatalarla karşılaştığımda, yeni konular hakkında bilgi aradığımda veya güncel bilgilere ihtiyaç duyduğumda işler karışıyor. Varsayılan olarak, llama.cpp ile çalıştırdığım modeller yalnızca eğitim verilerine erişebiliyor ve bu da onları internetten gerçek zamanlı bilgilere ulaşma konusunda tamamen bağımsız hale getiriyor.
Bu nedenle, en büyük modelim bile, İnternet’e bağlanmasını sağlayacak MCP sunucularına, API’lere veya özel ajan kodlarına sahip olmadan kullanırsam güncel olmayan sonuçlar verebilir. Neyse ki, bir süre önce Perplexica ile tanıştım; bu, Perplexity’ye alternatif olan ve yerel modellerimi kendi arama motoruyla birleştiren, böylece hem doğru ve güncel sonuçlar sağlayan hem de gizliliğime saygı gösteren bir çözüm.
Perplexica, Perplexity’nin harika bir açık kaynaklı alternatifi
Hatta resmi Perplexica konteyner imajı yerel bir SearXNG sunucusunu otomatik olarak çalıştırıyor ve bu metasearch motorunu LLM sorgularım için gerçek zamanlı sonuçlar çekmek üzere kullanıyor. Bu, Perplexity, ChatGPT ve diğer bulut platformlarının ücretsiz bir alternatifi olmasını sağlıyor; aynı zamanda kaç tane arama yapabileceğimi kısıtlamıyor veya verilerimi herhangi bir şirketin sunucularında saklamıyor.
Perplexica’nın web arayüzü Perplexity’nin arayüzüne oldukça benziyor ve hatta çıkarım görevlerim için hangi kaynakların kullanılacağını seçmeme olanak tanıyor. Ayrıca, yapay zeka tarafından oluşturulan yanıtları ilgili referanslarla etiketliyor; böylece şüpheli görünen bilgileri kontrol edip doğrulamam mümkün oluyor.
Docker tabanlı bir Perplexica örneği kurmak da oldukça kolay; Linux terminalinde şu komutu kullanabilirsiniz: `docker run -d -p 3000:3000 -v vane-data:/home/vane/data –name vane –restart unless-stopped itzcrazykns1337/vane:latest`. Teknik olarak, Perplexica birçok çıkarım motorunu destekliyor; ancak performans açısından en uygun olduğu için genellikle llama.cpp’yi tercih ediyorum.
Şu anda kullandığım LLM’ler hakkında biraz daha bilgi vereyim…
Sorgularımı çalıştırırken farklı modeller arasında geçiş yapıyorum
Karmaşık araştırma görevleri için Qwen3.6-35B-A3B harika bir mantıksal yeteneğe sahip. Karışım-uzmanlar (Mixture-of-Experts) tasarımına sahip olduğu için, bu 35 milyar parametreli modeli eski RTX 3080 Ti’mde bile çalıştırabiliyorum ve 200.000 tokenlik bir bağlam uzunluğuyla bile saniyede yaklaşık 24 token üretebiliyorum.
Deneme amaçlı, Proxmox 9’da karşılaştığım bazı hataları Qwen3.6-35B-A3B ile çözmeye çalıştım ve her seferinde hatanın kaynağını doğru bir şekilde tespit edebildi ve bu sorunları gidermek için ayrıntılı adımlar sağladı. Ayrıca, ESP32 otomasyon projeleriyle ilgili sorularıma da cevap aradım ve Perplexica, doğru forumlardan, doküman sayfalarından ve kılavuzlardan bilgi toplayarak sorularıma yanıt verdi.
Arama modları konusunda genellikle “Hızlı” ve “Dengeli” profillerini kullanıyorum; çünkü çoğu durumda yeterince doğru sonuçlar veriyorlar. Ancak, her zaman en yüksek doğruluk gerektiren durumlarda Qwen3.6’nın daha uzun süreler (yaklaşık 2-3 dakika) yanıt vermesi gerektiği için “Dengeli” profiliyle bile neredeyse iki kat daha uzun sürebiliyor.
Genel amaçlı sorgular için Gemma-4-E4B (Q4_K_M) modeli, GTX 1080’e sahip llama.cpp sunucumda çalıştırılabiliyor ve bu da Qwen3.6-35B-A3B’nin daha az kaynak tüketmesini sağlıyor.
Bunlara ek olarak, RAG (Retrieval-Augmented Generation) destekli görevler için nomic-embed-text-1.5 modelini de Pascal üzerinde çalıştırıyorum; çünkü bu model, Gemma-4-E4B ile birlikte çalışacak kadar hafif.
Perplexica, gizliliğime saygı gösteren ve düzenli ücret talep etmeyen bir çözüm
Bulut platformlarından kaçınan biri olarak, Perplexica, yerel olarak barındırdığım LLM’lerden oluşan üretkenlik araçları koleksiyonuma harika bir katkı sağladı. Çünkü SearXNG’nin canlı sonuçlarını yerel LLM’lerimle birleştirmesi sayesinde, sorgularımda en güncel bilgilere ulaşabiliyorum.
Ayrıca, yapay zeka tarafından oluşturulan yanıtların doğru kaynaklarla etiketlenmesini takdir ediyorum; böylece şüpheli görünen bilgileri kontrol edip doğrulamam mümkün oluyor. Bu sayede, LLM’lerin ürettiği hatalı veya güncel olmayan bilgilere güvenmekten kaçınabiliyorum.
Bu Gelişmeyi Toplulukta Değerlendirin
Haber hakkındaki düşüncelerinizi, donanım deneyimlerinizi ve teknik sorularınızı topluluk üyeleriyle anlık olarak tartışın.
Bir yanıt yazın