Ollama artık konuşabiliyor. Yerel olarak AI dil modellerini çalıştırmak için popüler uygulama, ilk kez metinden sese (text-to-speech) desteği sunuyor; bu özellik 0.40.11 sürümüyle geliyor ve şu anda yalnızca Apple Silicon’lu Mac’lerde kullanılabiliyor. Ollama ekibi, Gradium adlı Fransız girişiminin küçük konuşma modellerinden oluşan Phonon ailesine dayanıyor; İngilizce, Fransızca, Almanca, İspanyolca ve Portekizce ilk günden beri destekleniyor.
Beş dil, iki lisans
İngilizce modelin yanı sıra Almanca, Fransızca, İspanyolca ve Portekizce için ayrı 40M modeller ve beşini birden işleyen çok dilli bir model bulunuyor. Onlarca ses, bir parametre aracılığıyla seçilebiliyor. Ancak dikkat edilmesi gereken bir nokta var: Yalnızca İngilizce Phonon, Apache 2.0 altında yayımlanırken, diğer dil modelleri CC BY-NC 4.0 lisansı altında geliyor ve dolayısıyla ticari olmayan kullanımla sınırlı kalıyor. Bir ürüne İngilizce dışındaki bir okuma özelliği eklemeyi düşünenler için lisans koşullarına yakından bakmak gerekiyor.
AI hâlâ yazarken sesli okuma
En pratik kısım, zincirleme işlemin ne kadar kolay olduğudur. Bir sohbet modelinin çıktısı doğrudan Phonon’a aktarılabiliyor ve metin geldiği anda seslendirildiği için oynatma ilk cümleden sonra başlıyor. Geliştiriciler modellere OpenAI ile uyumlu /v1/audio/speech uç noktası üzerinden erişiyor; mevcut kodun yapması gereken tek şey yeni bir taban URL’si belirlemek. Çıktı 24 kHz mono ve varsayılan olarak WAV biçiminde.
Sistemin altında Ollama, Apple’ın MLX çerçevesini kullanıyor. M5 Max’li bir MacBook Pro’da Ollama’nın, Gradium’ın kendi çalışma zamanından %35 daha hızlı olduğu ve Hugging Face Transformers’daki referans uygulamanın aynı kelime hata oranına sahip olduğu iddia ediliyor. Bunlar geliştiricinin kendi rakamları ve karşılaştırma tamamen birebir değil: Ollama bf16 modunda çalışırken, Gradium’ın çalışma zamanı kısmen 8-bit ağırlıklar kullanıyor.
Windows ve Linux için yakında gelecekleri söyleniyor ancak Ollama belirli bir tarih vermedi. Buluta veri göndermek istemeyen Mac kullanıcıları için bu yine de güzel bir adım: Yerel olarak düşünen ve yerel olarak sesli okuyan bir sohbet botu eskiden bir uğraş projesiydi – şimdi tek bir terminal komutu.
Kaynak(lar)
Ollama blogu
9to5Mac
Görsel: Ollama
Bu Gelişmeyi Toplulukta Değerlendirin
Haber hakkındaki düşüncelerinizi, donanım deneyimlerinizi ve teknik sorularınızı topluluk üyeleriyle anlık olarak tartışın.
Bu gelişme hakkında düşüncelerinizi, donanım deneyimlerinizi veya sorularınızı Topluluk Forumumuzda paylaşın.
Foruma Katıl & Yanıtla ➔
Söz sizde.
Deneyiminizi, sorularınızı ve katkılarınızı paylaşın. E-posta adresiniz yayımlanmaz.