Eski Bir AMD Radeon RX 7900 XT ile Ev Sunucusunu Dönüştürmek: LLM’lerden Akıllı Eve

Evde kendi sunucunuzu kurmak, sayısız yazılım ve hizmeti çalıştırmanıza olanak tanıyan inanılmaz derecede ödüllendirici bir deneyim olabilir. Bu sayede verilerle etkileşim kurmanın yeni yollarını keşfedebilir, bulut aboneliklerinden bağımsız olarak tamamen ücretsiz çözümler kullanabilirsiniz. Başlangıçta her şeyi kendi sunucunuzda barındırmak cazip gelebilir, ancak zamanla donanım gereksinimleri önemli bir sorun haline gelir. Özellikle en son büyük dil modellerini (LLM’ler) çalıştırmayı düşünüyorsanız, yeterli işlem gücü ve belleğe ihtiyacınız olacaktır. İşte tam da bu noktada kullanılmış bir GPU devreye girerek büyük fark yaratabilir.

AMD Radeon RX 7900 XT ile Tanışın: 20 GB VRAM Kapasitesiyle

Benim hedefim, ev sunucularımı tek bir sistemde birleştirmek ve sürekli çalışması için mümkün olduğunca verimli hale getirmekti. Bu nedenle, AMD Threadripper 9000 serisi işlemciyi kullanmaya karar verdim (bu ilk başta mantıksız gibi görünebilir) ve UEFI ayarlarını değiştirerek boşta kaldığı zaman güç tüketimini düşürdüm. Böylece, tüm sistemin yaklaşık 60 watt’lık bir güç tükettiğini başardım; bu da iki adet Intel Core i5-7400 işlemcili masaüstü bilgisayarının 20W çekmesine rağmen oldukça iyi bir sonuçtu.

Bu GPU’nun sunucuya takılması, birkaç yeni olanak sağlıyor; bunlardan biri de LLM‘lerin çalıştırılması. Ben, RTX 5090’dan mini bir PC’ye kadar her tür cihazda Ollama ve çeşitli modelleri başarıyla çalıştırdım. AMD Radeon RX 7900 XT ise oldukça etkileyici bir donanım sunuyor. AMD’nin ROCm yazılım platformu son yıllarda büyük gelişmeler kaydetti ve GPU passthrough özelliğini kullanarak Proxmox gibi sistemlerde kurulum yapmak artık daha kolay.

Bu GPU’yu, Open WebUI ve Ollama üzerinden LLM’leri çalıştırmak için kullanmayı planladım; ayrıca Frigate ve Immich gibi uygulamaları da gerektiklerinde çalıştırabilecektim. 20 GB VRAM kapasitesi sayesinde, daha büyük modelleri yükleyebilecek ve diğer LXC’ler tarafından ihtiyaç duyulan her şeyi işleyebilecektim. Ayrıca, tüm bu uygulamaların aynı Proxmox düğümünde ayrı LXC’lerde çalışması, çok düşük bir ek yükle ve aynı AMD GPU’yu passthrough ile paylaşma konusunda herhangi bir sorun yaratmıyor.

LLM’ler, Frigate ve Immich gibi uygulamaların tek bir platformda bir araya getirilmesi, ev laboratuvarımı dönüştürdü.

Bu kurulumun sorunsuz çalışması için genellikle bir sanal makine yerine bir LXC kullanmak önemlidir. Bir LXC, sanal bir makineden farklı olarak, ihtiyaç duyduğu kaynakları o anda talep eder; bu da GPU gibi donanımları daha verimli bir şekilde kullanmayı sağlar. Proxmox’ta bir sanal makine genellikle tüm GPU’yu kullanırken, birden fazla LXC aynı GPU’yu paylaşabilir. Bu sayede LLM’ler, Immich ve Frigate gibi uygulamaların tek bir sunucuda çalışması mümkün hale gelir.

Kullanılabilir açık kaynaklı sürücüler sayesinde Radeon RX 7900 XT sorunsuz bir şekilde çalışıyor. Proxmox topluluk betikleri sayesinde kurulum oldukça kolaydır; bu betikler LXC’nin, gerekli yazılımların kurulmasını ve GPU’nun bu konteyner içinde kullanılabilmesi için gerekli bağlantıların yapılandırılmasını otomatikleştirir. LLM’ler için qwen3.6:27b-q4_K_M veya qwen2.5-coder:14b gibi modelleri kullanıyorum; her ikisi de mevcut 20 GB VRAM içinde rahatlıkla çalışıyor. Frigate ve Immich gibi uygulamalar çok fazla GPU işlem gücü gerektirmediği için, her şeyin sorunsuz bir şekilde çalıştığından emin olabiliriz.

Ev sunucum zaten oldukça kullanışlıydı. Evimizdeki en önemli uygulama Home Assistant’tır. Bu uygulama, akıllı evimizdeki tüm cihazları ve sensörleri kontrol eder; ayrıca EcoFlow güneş enerjisi sistemiyle de entegre çalışarak enerji tüketimini takip etmemizi sağlar. “Her şey sorunsuz çalışıyor” ifadesi, video oyunlarının efsanesi Todd Howard’ın sözleriyle özetlenebilir.

Ancak, bu sistemin potansiyeli çok daha fazlaydı; yerel işlem gücünden tam olarak yararlanmak mümkün olabilirdi. İşte tam da bu noktada 128 GB DDR5 RAM ve yukarıda bahsedilen RX 7900 XT’ye sahip bir sistem devreye giriyor. Şu anda 40’tan fazla uygulama çalışıyor ve sunucu çok az güç tüketiyor; bu, her şeyin yerel olarak çalışması anlamına geliyor ve gecikmeyi en aza indirerek ağ trafiğini azaltıyor.