Kişisel sunucuma tüm Wikipediyi yükledim; İnternet olmasa bile hala çalışıyor!.

Günümüzde herhangi bir bilgiye ulaşmak için basit bir internet aramasıyla birkaç dakika yeterli. Ancak, bu bilginin tamamı internet üzerinde bulunuyor; bu nedenle, yerel olarak barındırılan bir LLM ile soru sarken bile, ihtiyaç duyduğunuz yanıtlara ulaşabilmek için her zaman bir bağlantıya ihtiyacınız var.

İnternetim olmadığında da çalışabilecek bir cevap sistemi istedim ve onu yaptım. Wikipedia’yı indirdim ve Kiwix kullanarak kendi sunucumda barındırdım; artık istediğim tüm bilgilere evimin içinde erişebiliyorum.

Wikipedia’yı Barındırmak Düşündüğümden Daha Kolay

Wikipedia, sahip olabileceğiniz en büyük kaynaklardan biri olduğundan, bunun kendi bilgisayarınıza sığamayacağını düşünmeniz normal. Ancak aslında mümkün, ve bunun için gereken tek şey doğru bir şekilde barındırılan hizmet: Kiwix.

Kiwix’i, ilgili topluluk betiğini kullanarak Proxmox ev laboratuvarıma yükledim; sadece disk boyutunu varsayılan 4GB değerinden daha büyük olan 10GB’a çıkardım. Bu, indirmek istediğim Wikipedia veritabanının boyutu için gerekliydi. İngilizce olarak her makaleyi tutmakla sınırlı olsanız bile, Wikipedia veritabanlarının geniş bir yelpazesini indirebilirsiniz.

Meraklıysanız, veritabanlarının tam listesi burada, ve istediğiniz seçeneği indirmek için konteynerin terminaline girip data klasörüne giderek, oradan kullanmak istediğiniz dosyayı wget komutuyla indirebilirsiniz.

Görece küçük bir konteynere sığması için, Wikipedia’nın Simple English (Basitleştirilmiş İngilizce) sürümünü indirdim ve resimleri içermeyen nopic versiyonunu seçtim. Bu veritabanı yaklaşık 1GB boyutundadır, bu nedenle herhangi bir bilgisayara kolayca sığar. Standart İngilizce veritabanını da indirebilirdim; ancak bu yaklaşık 50GB’dı ve zaman kaybına uğramak istemedim.

Kiwix Gerçekten Nasıl Görünüyor?

Tamamen Beklediğiniz Gibi

Veritabanını indirdikten ve Kiwix’i yüklemek için yeniden başlattıktan sonra, parmaklarımın ucunda çok miktarda bilgiye erişebiliyorum. İndirmek istediğim her veritabanı ayrı bir “kitap” olarak gösterilir; bu nedenle, belirli çalışma alanlarına odaklanmak veya Wikipedia’nın farklı dil sürümlerine sahip olmak gibi çeşitli seçeneklere sahip olabilirim.

Wikipedia’nın Simple English sürümünde biraz daha az bilgi bulunsa da, Paul Rudd hakkında arama yapıp filmleri listesini görebiliyorum; bu bile çok güzel. Aslında, neredeyse her şeyi araştırabilir ve o konu veya kişi hakkında temel bir genel bakış elde edebilirim. Sayfalar, internetteki Wikipedia sürümündeki gibi görünüyor ve bağlantılar da korunuyor.

Wikipedia sayfalarına çevrimdışı olarak erişilebilse de, içindeki bağlantılar doğal olarak çevrimiçi bir bağlantı gerektirir; ancak yine de burada olması harika. En önemli bilgileri çevrimdışı olarak görebilirim ve kaynakları kontrol etmem gerektiğinde bile internete bağlıyken bunu kolayca yapabilirim.

Sorularıma Cevap Vermesini Sağlamak

Bu, Tamamen Farklı Bir Zorluk

Kişisel Wikipedia’mı kurduktan sonra, doğal dil kullanarak ona sorular sorup sormayabileceğimi merak ettim; bu biraz çaba gerektirdi. İlk olarak, Kiwix’i sorgulayabilen bir MCP sunucusu kurmam gerekti ve bunu kullandım. Kiwix’in güvendiği ZIM arşivleriyle etkileşimde bulunabilecek başka seçenekler de var.

Ardından, çevrimdışı olarak kullanmak için bir LLM indirmem gerekiyordu. Qwen3.8-27B kullandım. Başlangıçta bu modelin 4 milyar parametreli (distilled) versiyonunu denedim; ancak çok sayıda yanlış bilgi alıyordum, bu yüzden daha güçlü bir modele ve donanıma geçmem gerekti. Bu kısmı, AMD Ryzen AI 9 HX 370 işlemciye ve 64GB DDR5 RAM’e sahip olan Minisforum AI X1 Pro inceleme ünitesinde çalıştırdım.

Son olarak, doğal dil soruları sorabilmem için MCP sunucusunu ve LLM’yi birbirine bağlayan bir arayüz gerekiyordu. Pi’yi yükledim, konfigürasyona MCP sunucusunu ekledim ve ardından bunu llama.cpp modeline bağladım. Pi içinde değiştirmem gereken tek ayar, MCP sunucusu için varsayılan codemode değerini direct olarak değiştirmekti; aksi takdirde, soru sorduğumda Pi’nin MCP sunucusunu atlayıp doğrudan sorgulama yaptığına şahit oluyordum.

Tüm bunları tamamladıktan sonra, Pi’den bu makalelerle ilgili sorular sorabiliyor ve cevapları almak için Kiwix sunucuma bağlanıyordu; internet bağlantısı olmadan. Cevaplar almam biraz zaman alıyor.

Çoğunlukla Doğru

Daha Uzun Sayfalarda Sonuçlar Beklenmeyeni Verebilir

Bunu çalışır hale getirebildim; ancak kurulum sırasında bazı sorunlarla karşılaştım ve bunun nedeni, kullanılabilir cevaplar almak için 27 milyar parametreli bir modele ihtiyaç duymam olabilir. MCP sunucusunun etkinleştirdiği araçları kullanırken, hedef içeriğin düz metin olarak işlendiğini ve ardından HTML etiketlerinin kaba bir şekilde silindiğini fark ettim; bu da token’ların boşa harcanmasına ve daha kötü sonuçlar alınmasına neden olabiliyor.

Bunun nedeni, 4 milyar parametreli model kullanıldığında anlamsız cevaplar alınması olabilir. “Paul Rudd kimdir?” sorusuna cevap verirken temel detayları doğru yapsa da filmografisi tamamen uyduruluyordu.

27 milyar parametreli bir modele geçtiğimde, gerçekliğe çok daha yakın sonuçlar alabiliyordum; ancak hala mükemmel değildi. Paul Rudd’ın filmografitaki detayların çoğunu doğru yapsa da karakterinin Marvel Sinematik Evrenindeki adının Pete Peterson olduğunu iddia ediyor ve Down and Out with the Ducks adlı bir filmi uyduruyordu. İlginçtir ki, aynı sorgu tekrar yapıldığında bu hatalar tekrarlanmadı.

Ayrıca “Nintendo Switch 2 nedir?” sorusuna cevap verirken neredeyse tamamen doğru sonuçlar aldım. ABD’deki çıkış ve lansman tarihlerini doğru belirtmişti, tüm önemli özellikleri doğru bir şekilde vurgulamıştı ve platformdaki erken çıkan oyunlarla ilgili bilgiler de dahil olmak üzere birçok detayı aktarmıştı. Kanada’da konsolun 8 Ağustos’ta piyasaya sürüldüğünü belirtmiş; ancak Kiwix veritabanındaki Wikipedia sayfasında da bu bilginin yanlış olduğunu fark ettim, yani modeldeki bir sorun değil.

İki sonuç arasındaki en büyük fark, sayfanın uzunluğu ve Simple English sürümündeki Paul Rudd sayfasının oldukça uzun bir tablo içermesi. Bu tablonun işlenirken önemli miktarda token harcamasına neden olarak çıktının kalitesini etkilemiş olabilir.

Yine de Harika

LLM’den aldığım cevaplar Kiwix üzerindeki bilgilere tamamen uygun olmasa da, bu tüm süreç oldukça etkileyici. Kendi Wikipedia sayfamı çevrimdışı olarak kullanabilmek bile çok güzel; ancak bunu bir yerel LLM ile sorgulayarak ve internet bağlantısı olmadan sorulara cevap alarak daha da iyi hale getirdim. Eksikleri olabilir; ancak yine de oldukça iyi çalışıyor.