Ana sayfa→Yazılım & İşletim Sistemleri
Yazılım & İşletim Sistemleri

Yerel bir yapay zeka modeliyle sıfırdan grafiksel paket yöneticisi geliştirmek.

Yayın:

Yaklaşık iki yıl önce, sürekli güncellenen bir dağıtım kullanmaya devam edebilmek ve şirketimin RPM tabanlı güvenlik yazılımını kurabilmek için…

User Avatar
Alper DemirEditör
5 dk okuma
Yerel bir yapay zeka modeliyle sıfırdan grafiksel paket yöneticisi geliştirmek

Yaklaşık iki yıl önce, sürekli güncellenen bir dağıtım kullanmaya devam edebilmek ve şirketimin RPM tabanlı güvenlik yazılımını kurabilmek için OpenMandriva Linux’a geçtim. Önceden memnun bir Arch kullanıcısıydım, ancak şirket düzenli sürüm yayınlayan bir dağıtıma standartlaşmıştı. Sabit sürümlü bir dağıtımın getirdiği güncelleme ve yeniden kurma döngülerinden kaçınmak istedim ve kıdemli olduğum için bunu yapma yetkim vardı.

Eğer dağıtım değiştirirsem, tutarlılık ve teknik destek nedenleriyle genellikle aynı dağıtımı her yerde kullanmayı tercih ederim — ailemin bilgisayarları da dahil olmak üzere. Komut satırı arayüzüne aşina olsam da bazı aile üyelerim o kadar teknik değil. Annemin bile kullanabileceği grafiksel bir güncelleme ve kurma aracına ihtiyacım vardı, ancak OpenMandriva’da bu yoktu.

Diğer tarafın çimleri her zaman daha yeşil değildir

Bazen küçük kusurlar büyük sorunlara dönüşür

Ancak OpenMandriva tamamen gönüllüler tarafından yönetiliyor.

SayarBilgi sitesini Google’da tercih edilen kaynak olarak seç
DnfDrake is a GUI package manager that comes with OpenMandriva.

OpenMandriva’nın varsayılan “güncelleme aracı”, güncellemeyi komut satırı üzerinden çalıştıran bir kabuk betiğine bağlayan bir araç çubuğu bağlantısından ibaret. Mevcut güncellemeler hakkında hiçbir bildirim yok; güncellemeleri düzenli olarak çalıştırmayı kendiniz hatırlamanız gerekiyor. Ayrıca, forumdaki tüm gönderiler her şeyi komut satırıyla yapmayı öneriyordu. Bu kesinlikle anneme verebileceğim bir işletim sistemi değildi (şu anda Manjaro kullanıyor ve güncellemelerini düzenli olarak yapıyor).

Menüleri incelerken DnfDrake adlı grafiksel bir paket yöneticisi buldum.

Birileri bunun üzerinde çok çalışmıştı ve bir grafiksel paket yöneticisinin yapması gereken her şeyi yapıyordu. Ama şu düğmelere bir bakın! Pencere yeniden boyutlandırılamıyor, bu da 1366×768 çözünürlüklü ucuz dizüstü ekranlarda bazı düğmelere tıklamanın imkansız olduğu anlamına geliyor. Ayrıca yavaş çalışıyor; her işlem arasında paket listesini yeniden yükleyerek zamanının çoğunu harcıyor. Annemin bunu kesinlikle kullanamayacağını biliyordum. Forumlarda, yeni kullanıcılar paket kurma sorusu sorduğunda kimse bundan bahsetmiyordu. Üstelik varsayılan olarak etkinleştirilmemişti. Dağıtımın daha iyi bir şeye ihtiyacı vardı.

OpenCode connects to local LLMs via Ollama.

Yardım etmek istediğinizde, ama yardım etmeniz için yardıma ihtiyacınız olduğunda

Küçük, gönüllüler tarafından yönetilen bir Linux dağıtımına dahil olmanın harika yanlarından biri, gerçekten yardım edebilmenizdir. Makinede sadece bir dişli değilsiniz. Sorun şu ki, ben daha çok arka plan geliştiricisiyim; masaüstü grafik arayüzleri konusunda çok az deneyimim var. Bunu eninde sonunda manuel olarak yazabileceğime eminim, ama o zaman bu makaleyi yazmak yerine hâlâ kod yazıyor olurdum.

Ayrıca AMD Ryzen AI 9 HX 370, Radeon 890M ve 64GB RAM (32GB RAM ve 32GB VRAM olarak eşit bölünmüş) donanımlı Framework 13 bilgisayarımda yerel LLM’lerle deneyler yapıyordum. VimStar’da (diğer projelerimden biri) platformlar arası kodları hata ayıklamak için Ollama ve OpenCode kullanıyordum. Deneyimli bir yazılım geliştiricisiydim ve bir paket yöneticisinde ne istediğimi biliyordum. Bu LLM’lerin bilgi eksikliğimi gidermeme yardımcı olabileceğinden emindim.

Edit the Ollama service to configure it with your hardware.

Yerel LLM’leri çalıştırmak herkesin işi değil

Ollama belgeleri bunu kolaymış gibi gösteriyor: CLI’yı kurun, ollama pull [model] komutunu çalıştırın ve işte bu kadar. Hayır, eğer indirdiğiniz LLM’leri verimli bir şekilde kullanmak istiyorsanız öyle değil. Herhangi bir yapılandırma olmadan performans berbattı ve Ollama GPU’mu hiç kullanmıyordu. İyi çalışması için Ollama hizmetini düzenleyip birkaç ayar eklemek zorunda kaldım:

#Environment=”OLLAMA_CONTEXT_LENGTH=65536″

#Environment=”OLLAMA_CONTEXT_LENGTH=131072″

Asking a model to summarize a project makes it gain important context.
  1. AMD’nin ROCm yerine Vulkan grafiklerini etkinleştirir. Deneyimlerimin başlarında ROCm ile bazı çekirdek çökmeleri yaşamıştım.
  2. Dizüstü bilgisayarımın entegre GPU’sunu etkinleştirir. Eğer entegre GPU’nuz varsa, bunu istersiniz.
  3. Vulkan kullanımını zorlamak için ROCm cihazlarına yönelik tüm kontrolleri devre dışı bırakır.
  4. Eski AMDVLK sürücüsü yerine RADV sürücüsünü kullanmaya zorlar.
  5. Standart dikkat mekanizmasından daha az bellek kullanan Flash Attention’ı etkinleştirir.
  6. Agresif bir 256K bağlam uzunluğunu etkinleştirir. Diğer daha düşük değerlerin yorum satırı haline getirilmesinin nedeni budur. Kendi riskinizle kullanın. Sistemim henüz çökmedi!
  7. Anahtar-Değer (KV) önbelleğini varsayılan 16-bit kayan nokta yerine nicemlenmiş 8-bit formatta saklar, bu da bağlamı saklamak için gereken belleği yarıya indirir.
  8. Her model için aynı anda yalnızca bir istek yapılmasını zorlar (burada bir sunucu çalıştırmıyorum).
  9. Herhangi bir anda yalnızca bir modelin yüklenmesine izin verir (daha fazlası için yeterli belleğim yok).
  10. Yüklenmiş modeli bellekte tutar, böylece AFK kaldıktan sonra modeli ve tüm bağlamını yeniden yüklemek için en az 30 dakika beklemek zorunda kalmam.

Aynı boyuttaki modeller farklı performans gösterebilir

Eğer Qwen 3.8:27b gibi yoğun bir modeli bu sistemde çalıştırabileceğinizi düşünüyorsanız, saniyede 4.9 token hızıyla çalışmasını izlemeye sabrınız varsa belki başarabilirsiniz. Daha iyi çalışan şey, aynı veya daha yüksek yoğunlukta bir uzman karışımı (MoE) modelidir, çünkü her token için parametrelerinin sadece bir kısmını etkinleştirir, ancak aynı zamanda kodlama için gereken yoğun bilgiye de sahiptir. Peki neden Python ile kodlarken sadece Python ile ilgili parametreleri kullanmanız gerekirken modelin tüm parametrelerini etkinleştiresiniz ki? Fark şu ki, Flint gibi 40b parametreli bir modeli (Qwen’den daha büyük) saniyede 13.6 token hızında çalıştırabiliyorum — bu, ücretli modellerle elde ettiğiniz hıza yakın.

Üç model seçtim: Laguna XS 2.1, Ornith 1.5 ve Flint.

The OpenMandriva Updater displays RPMs and Flatpaks to be updated.

Önce tasarımınızı planlayın, yoksa model devreye girip kodlamaya başlar

Tasarımı Laguna XS 2.1 ile tartışmak için OpenCode’da Plan modunu kullandım. OpenMandriva öncelikli olarak KDE Plasma odaklı bir dağıtım olduğu için, uygulamalara yerel bir görünüm ve his vermesi amacıyla Python ve PyQT 6’yı seçtik. Uygulamalar diyorum çünkü iki uygulama yazdık: biri sistem tepsisinde durup güncellemeleri arayan ve kuran; diğeri ise DnfDrake’in yerini alabilecek grafiksel bir paket yöneticisi. Her iki uygulamanın da yükseltilmiş izinler olmadan yüklenebilmesine ve bir şeyleri kurma zamanı geldiğinde yükseltilmiş izinlerle çalışan birimler olarak yeniden başlatılmasına karar verdik.

Tasarım üzerinde anlaştıktan sonra Laguna’yı işe koydum. Yaklaşık yarım saat sonra bir uygulamam olmuştu. Elbette mükemmel çalışmıyordu; hataları düzeltmek ve kodu geliştirmek için birçok yinelemeden geçtik. Bazı sorunlar — örneğin CLI çıktısını grafik arayüzüne aktarmak — Laguna’nın çözebileceğinin ötesindeydi ve Ornith ile Flint modelleri yayınlandığında daha güçlü olanlara geçtim.

Kurucu daha karmaşıktı: RPM’leri, Flatpak’leri ve Snap’leri yönetmesi gerekiyordu, çünkü OpenMandriva hem bağımsız paket yöneticilerini destekliyor. Snap’ler kendilerini otomatik olarak güncellediği için güncelleme aracının onlarla ilgilenmesi gerekmiyor. Kurucu, snapd’nin yüklü olup olmadığını otomatik olarak algılıyor ve ilgili kategoriyi etkinleştiriyor.

om installer gallery

Bir uygulama gerçekten hiç biter mi?

Uygulamaları paketleyip dağıtıma yayınladıktan sonra aldığım ilk geri bildirim, kendi makinemde hiç karşılaşmadığım bir çökme oldu. Ancak yerel LLM’lerimi kullanarak hataları yorumlayıp düzeltebildim ve her seferinde yeni bir sürüm yayınlayabildim.

Bu gerçekten dağıtımın resmi kurucu ve güncelleme aracı olacak mı? Umarım öyle olur. Güncelleme aracı annemin kullanması için yeterince kolay ve kurucu artık stabil. Ama asıl önemli olan, yerel LLM’lerin — hiçbir deneyimim olmasa da — iki iyi çalışan grafiksel masaüstü uygulaması yazmam için yeterince güçlü olmasıydı. Yapay zeka fiyatları değişmeye devam ederken, yerel LLM’leri çalıştırmak, iyi sonuçlar alırken maliyetleri kontrol etmenin iyi bir yolu olabilir. Bunu sisteminizde çalıştırmak için birkaç saat ayırmaya değer.

İlginizi Çekebilir: Planetary Annihilation: TITANS Sonunda Modern Bir Kullanıcı Arayüzüne Kavuştu →
💬 SayarBilgi Topluluğu

Bu Gelişmeyi Toplulukta Değerlendirin

Haber hakkındaki düşüncelerinizi, donanım deneyimlerinizi ve teknik sorularınızı topluluk üyeleriyle anlık olarak tartışın.

Topluluk Canlı Akışı →
Kaynak: XDA DevelopersKaynak yazarı: Richard Sezov
💬 Topluluk Masası & Tartışma

Bu gelişme hakkında düşüncelerinizi, donanım deneyimlerinizi veya sorularınızı Topluluk Forumumuzda paylaşın.

Foruma Katıl & Yanıtla ➔
Forumda sor / tartış
TOPLULUĞUN SESİ

Söz sizde.

1 yorum

Deneyiminizi, sorularınızı ve katkılarınızı paylaşın. E-posta adresiniz yayımlanmaz.

Sohbete katıl

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Yorumunuz yayımlanmadan önce onay bekleyebilir.

BİR SONRAKİ OKUMA

Merak etmeye devam

Tümünü gör ↗

Neyi merak ediyorsun?

En az 3 karakter yazın.

Keşfet

Ağ Bağlantıları:Laptop • Teknoloji • Donanım Rehberi • PC Upgrades • Oyun İnceleme