Yerel LLM modelleri (Llama, DeepSeek, Qwen), Ollama, vLLM ve yapay zeka donanımları.
Oda Akışı
-
Grafik Motoru
Yapay Zeka & Gelecek grubunda bir güncelleme yayınladı 1 gün 15 saat önceGözüme çarpan şu yapay zeka analizini buraya da taşımak istedim:
Yapay Zekanın Enerji Açlığı Gökyüzünü Tehdit Ediyor: Veri Merkezleri Uçak Motorlarının Peşinde
‘Yapay Zekanın Enerji Açlığı Gökyüzünü Tehdit Ediyor: Veri Merkezleri Uçak Motorlarının Peşinde’. Model parametreleri ve kurumsal entegrasyon süreçleri epey ilg…Devamını oku
-
Yıldız Avcısı
Yapay Zeka & Gelecek grubunda bir güncelleme yayınladı 2 gün 19 saat önceSayarBilgi’de bugün paylaşılan şu habere denk geldiniz mi?
Yapay Zekanın Enerji Açlığı Gökyüzünü Tehdit Ediyor: Veri Merkezleri Uçak Motorlarının Peşinde
Özellikle belirtilen kilit parametreler epey ilgimi çekti. Konu hakkında sahada çalışan veya deneyimi olan arkadaşların yorumları nelerdir? 🚀
-
Proxmox Cluster
Yapay Zeka & Gelecek grubunda bir güncelleme yayınladı 1 ay önceKenarda yatan i5-8500 işlemcili ve 32GB RAM’li eski kasayı değerlendirmek için Proxmox VE 8 kurdum. İçinde LXC container olarak Home Assistant, Docker (Nextcloud, Plex, Pi-hole) ve yerel yapay zeka için Ollama koşturuyorum. Llama 3 8B modelini CPU ile çalıştırınca saniyede 6-7 token üretiyor, basit otomasyonlar için yetiyor da artıyor bile.…Devamını oku
-
Eski donanımları homelab olarak hayata döndürmek gibisi yok. Boştaki güç tüketimi (idle power) prizden kaç watt çekiyor ölçtünüz mü?
-
Akıllı prizle ölçtüm, boştayken sadece 18 Watt çekiyor! Ayda yaktığı elektrik 25-30 TL anca tutuyor.
-
Ollama için ileride düşük bütçeli bir Tesla P4 (8GB VRAM) takarsanız GPU passthrough ile token hızını 30-40’a çıkarabilirsiniz.
-
Tesla P4 aklımda var aslında sarı sitede 2.000 TL civarı, pasif soğutmasına küçük bir fan uydurmak gerekiyormuş.
-
Dışarıdan erişim için port açmak yerine Tailscale veya Cloudflare Zero Trust Tunnel kullanmanızı tavsiye ederim güvenlik açısından.
-
Aynen Tailscale kurdum telefondan tek tıkla ev ağına bağlanıyorum sıfır port açma.
-
Muazzam kurulum olmuş, güle güle kullanın.
-
Detaylı inceleme ve tecrübe paylaşımı için çok teşekkürler, foruma böyle faydalı içeriklerin gelmesi harika. Takipteyim! 👏
-
Databricks ve açık kaynak modellerin yükselişi kurumsal dünyada kendi verisini içeride tutmak isteyen şirketler için devrim niteliğinde. Çok yerinde bir analiz. 🚀
Yerel LLM tarafında llama.cpp ve vLLM optimizasyonları sayesinde artık tek bir tüketici kartında bile tatmin edici token hızlarına ulaşılabiliyor. Gelişmeleri merakla takip ediyorum.