Yerel olarak dağıtılan yapay zekâ modelleri hakkında düşündüğünüzde, uçak teknolojisinden haberi olmayan birinin aklına, son teknoloji grafik kartlarıyla donatılmış devasa sunucular gelir. Ve bu devasa LLM‘lerin ne kadar hesaplama gücüne ihtiyaç duyduğunu düşündüğünüzde, yanılmayacaksınız. Ancak geçen yıl boyunca türlü çılgın deneylere girişmem, yanına yaklaştığımı gösteriyor: Onlarca milyar parametreli ağır LLM’ler, üretkenlik ihtiyaçlarımı karşılayabilen tek yapay zekâ modelleri değil.
Aslına bakılırsa, belirli yapay zekâ görevlerinize bağlı olarak güçlü bir donanıma bile ihtiyacınız yok. Birkaç uç model eklediğinizde, sıradan bir Raspberry Pi bile yararlı yapay zekâ araçlarını kolaylıkla çalıştırabilir.
Raspberry Pi 5, Gemma 4 E2B’yi tamamen çalıştırabilir
Ve hatta daha düşük performansla da olsa E4B kardeşini
Düşük parametreli LLM’ler zayıf sistemlerde çalışabilir, ancak sınırlı muhakeme becerileri ve en basit istemlerde bile halüsinasyonlarla dolu sonsuz döngülere girme eğilimleri nedeniyle kötü şöhretlidir. Ve Raspberry Pi 5’imde bir sürü hafif LLM’yi denemeye çalıştığım bir Pi (yani, ajan çerçevesi) projesinde bu kötü şöhretin haklı olduğunu söyleyebilirim. Yine de Gemma 4 ailesi bu kurala bir istisna: Bu dizideki E2B ve E4B modelleri, tipik üretkenlik uygulamalarına karşı koyabilir.
Görünen o ki, her iki Gemma modeli de her ayrıştırma katmanının kendi Per-Layer Embedding tablosuna sahip olduğu benzersiz bir mimariye sahip; böylece her sorgu için karmaşık hesaplamalar yapmak yerine hızlı aramalar yapabilir. Örneğin E2B’nin toplam parametre sayısı 5,1B olsa da yalnızca 2,3B aktif (etkin) hesaplama parametresi vardır. Benzer şekilde E4B, 8B toplam parametreye sahip olsa da aktif çıkarım sırasında 4,5B parametreli bir model gibi davranır.
Hafif tasarımları sayesinde Raspberry Pi 5, bu modelleri ekstra hesaplama yükü altında ezilmeden çalıştırabilir. Çıkarım motoru olarak llama.cpp kullandığım sürece, 8GB’lık RPi 5, görüntü tanıma yetenekleri için Multi-Modal Projector dosyası etkinleştirilmiş olsa da Gemma 4 E2B’yi 5,8–6,5 token/saniye hızında işleyebilir. Bekleneceği gibi, SBC yalnızca saniyede 2,5–3 token üretebildiği için Gemma 4 E4B, RPi 5 üzerinde daha yavaştır.
Kağıt üzerinde bu, normal konuşmalar için çok yavaştır ve ben böyle bir şeyi karmaşık kodlama görevlerinde asla kullanmazdım. Ancak Karakeep yer imlerimi özetlemek, Paperless-GPT üzerinde OCR taramaları yapmak veya Blinko notlarımı otomatik etiketlemek söz konusu olduğunda, Raspberry Pi 5’imde çalışan bir Gemma 4 E4B (hatta E2B) örneği, ChatGPT ve diğer bulut platformlarını değiştirmek için fazlasıyla yeterlidir.
Cactus Compute Needle 3 gibi uç modeller, basit görevler için daha da verimli
Tam anlamıyla bir LLM değil, ancak doğru şekilde yapılandırıldığında işi halleder
Cactus Compute Needle 3, RPi 5’imde denemeye başladığım daha yeni modellerden biri ve kısa sürede SBC’mde görev yaparken kullandığım favori yöntem haline geldi. Çünkü bu, daha önce vurguladığım Gemma 4 modelleri gibi gerçekten genel amaçlı bir LLM değil.
Needle 3, tipik LLM’lerde bulacağınız sohbet ve açık uçlu metin üretme yeteneklerini bir kenara bırakır ve yalnızca araçları çağırma, veri alanlarını çıkarma ve metin gömme (embedding) oluşturma amacı taşıyan özel bir model olarak çalışır. Böylece maksimum 121M parametreye sahiptir ve katman tabanlı tasarımı sayesinde, mikrodenetleyiciler de dahil olmak üzere ultra düşük RAM’li cihazlarda performans tasarrufu sağlamak için azaltılmış derinliğe sahip alt ağlar dağıtabilirsiniz.
Needle 3, dinozor mimarili işlemcisi nedeniyle ilk nesil RPi Zero’umda çalışmazken, Raspberry Pi 5’imde gerçekten iyi çalışır. Bu uç yapay zekâ modunu denemeye çalışırken, Needle 3 örneğimi Home Assistant’a bağlayan ve akıllı prizimi kontrol eden basit bir Python dosyası oluşturdum.
Ardından bu scripti Needle 3 örneğine (tüm 20 katman ile) besedip akıllı prizeyi açmaya yönelik basit bir sohbet sorgusu çalıştırdığımda, AI modeli doğru otomasyonu anında devreye soktu; decode hızı 280.2 token/s ve prefill değeri 996.4 token/s olarak ölçüldü. Docker yönetim komutları ve diğer Home Assistant araç çağrılarıyla da denedim ve bu uç modeli, Python yapılandırmalarını bozmadığım sürece sorunsuz çalıştı. Yine de, LLM’ler kadar kullanımı kolay değil; ancak özel Python kodu yazmaya istekli olanlar için Raspberry Pi + Needle 3 kombinasyonu, yapay zekâ destekli otomasyonlar için gerçekten etkili bir çift oluşturuyor.
Bu küçük kart, gömme modellerini çalıştırmada da aynı ölçüde yetenekli
ki bu da kendi kendine sunucularda çalışan devasa LLM’leri tamamlayabilir
Raspberry Pi’nizi yalnızca hafif uygulamaları ve devasa FOSS araç setiniz için eşlik eden hizmetleri çalıştıran ikincil bir ev sunucusu düğümü olarak kullandığınızı varsayın. Bu araç yelpazesine yapay zekâ modlarını da ekleyebilirsiniz. Söz konusu modlar, düz metin ve girdi görüntülerini sayısal vektörlere dönüştüren ve bunları çok boyutlu bir alana yerleştiren; benzer vektörler ise gruplanan gömme modelleridir.
Bu vektör eşleştirmelerini destekleyen uygulamalar, Her sorguladığınızda LLM’lere ek bağlam enjekte ederek yanıtları daha isabetli kılar ve yerel ortamda kurduğunuz modellerin uydurma yapmasını engeller. Ev laboratuvamda Paperless-ngx, Open Notebook ve Blinko, LLM’lerimin kendi belgelerimden ve notlarımdan tüm bilgiyi almasını sağlamak için gömme modellerine dayanıyor. Gömme modelleri için artık eski bir bilgisayara geçtim, ancak bu vektör eşleştirmelerini kendi barındırdığım araçlarım için üretirken sık sık Raspberry Pi 5’imde nomic-embed-1.5 kullanırdım.
Ardından Raspberry Pi AI Kit için YOLO modelleri geliyor
Şu ana kadar yalnızca kendi bağımsız Raspberry Pi 5’imde çalıştırabildiğim modellerden bahsettim. Ancak, Frigate sunucumda çalışan nesne algılama modellerinden bahsetmeden makaleyi tamamlayamam. Raspberry Pi Vakfı bir süre önce AI Kit’i yayımladı; bu kit tipik LLM’leri desteklemese de, gözetim kameralarımın Frigate’e aktardığı güvenlik görüntülerinde basit nesneleri tespit etmek için YOLOv8’i çalıştırabiliyor.
Raspberry Pi 5
CPU
Arm Cortex-A76 (dört çekirdekli, 2,4GHz)
Hafıza
8’a kadar GB LPDDR4X SDRAM
İşletim Sistemi
Raspberry Pi OS (resmi)
Portlar
2× USB 3.0, 2× USB 2.0, Ethernet, 2x micro HDMI, 2× 4-lane MIPI transceiver’ları, PCIe Gen 2.0 arayüzü, USB-C, 40-pin GPIO başlığı
GPU
Başlangıç Fiyatı
Bu Gelişmeyi Toplulukta Değerlendirin
Haber hakkındaki düşüncelerinizi, donanım deneyimlerinizi ve teknik sorularınızı topluluk üyeleriyle anlık olarak tartışın.
Bu gelişme hakkında düşüncelerinizi, donanım deneyimlerinizi veya sorularınızı Topluluk Forumumuzda paylaşın.
Foruma Katıl & Yanıtla ➔
Söz sizde.
Deneyiminizi, sorularınızı ve katkılarınızı paylaşın. E-posta adresiniz yayımlanmaz.