Jev ile Ucuz ve Güvenilir Bir Model Yönlendirme Sistemi Nasıl Kurulur?.

Yapay zeka sistemlerini optimize etmenin en etkili yollarından biri olan model yönlendirme (model routing), görevin karmaşıklığına göre akıllıca bir model seçimi yapmayı sağlar. Küçük modeller çoğu soruyu çözebilirken, akıl yürütme gerektiren işlerde büyük modeller devreye girer ve hangi modelin görevi üstleneceğine dair kararı bir yönlendirici LLM verir. Bu yaklaşım uygulamanın kalitesinden ödün vermeden maliyet tasarrufu sağlarken, son kullanıcı bu farkı neredeyse fark etmez.

Sorun şu ki mühendisler uzun süre model yönlendirmesi için çok güçlü modeller kullanmış; ancak bunlar hem basit kararlar için bile yavaş hem de pahalı olmuş. Bu durum yönlendirme sürecini güvensiz kılıyor ve sağlanan maliyet tasarrufunu önemsiz bir boyuta indiriyordu. İşte bu noktada TypeSafe AI tarafından geliştirilen Jev adlı model, tip güvenli (type-safe) karar verme özelliğiyle öne çıkarak soruna çözüm sunuyor.

Jev ile Model Yönlendirme Nedir ve Neden Gereklidir?

Model yönlendirme, bir uygulamanın ihtiyaç duyduğu görev için en uygun modeli seçen mimari bir yaklaşımdır. Küçük modeller çoğu basit soruyu hallederken, karmaşık işlerde büyük modellerin devreye girmesini sağlar. Bu sayede uygulama hem tüm yeteneklerini korur hem de kullanıcı deneyimini bozmadan maliyet optimizasyonu gerçekleştirir.

Mühendisler bu yönlendirme görevi için genellikle ileri düzey (frontier) modeller kullanıyordu. Doğal olarak doğru kararlar alıyorlardı ancak ciddi dezavantajları vardı. Bu modeller basit bir karara bile çok yavaş yanıt veriyor; sınıflandırma gibi işlemlerde yaklaşık 3-329 saniye sürebiliyordu. Ayrıca büyük maliyetliydiler. Yönlendirme mimarisi küçük modelleri kullanarak çıktı tokenlarında tasarruf sağlasa da, yönlendirmenin kendisi pahalıya mal oluyordu.

Sorunlar burada bitmiyor. Bazen daha büyük ileri düzey modeller doğru seçimi yapıyor ancak yanlış bir şekilde gerçekleştiriyordu. Örneğin spam (istenmeyen mesaj) sınıflandırıcısının ‘spam’ veya ‘safe’ (güvenli) döndürmesi beklenirken, model ara sıra biraz fazla zeka göstererek ‘spamy’ gibi anlamsız bir çıktı verebiliyordu. Bu durum uygulamanın çökmesine yol açıyordu çünkü geliştiriciler böyle bir senaryoyu asla düşünmüyordu.

Bu nedenlerle model yönlendirme güvensiz ve tasarruf miktarı önemsiz hale geliyordu. Bu yüzden yönlendirme, bir tasarım seçimi yerine yalnızca gelişmişlik özelliği (enhancement) olarak görülüyor ve çoğu zaman prototiplerde nadiren karşımıza çıkıyordu.

Jev ile Yönlendirme Nasıl Yapılır?

Jev özel mülkiyetinde bir modeldir ve kullanıcılar bunu kendi müşteri SDK’sı (client SDK) üzerinden erişebilir. Öncelikle hesap kurulumu yapılması, kredi eklenmesi (asgari 5 dolar) ve bir API anahtarı oluşturulması gerekir. Bu işlemler TypeSafe AI’nın portalı üzerinden gerçekleştirilebilir.

API anahtarını oluşturduktan sonra ortam değişkeni (environment variable) ayarlanabilir. Bunu yapmanın birçok yolu vardır; tümü kodun nerede ve nasıl çalıştırıldığına bağlıdır. Python ile çalışanlar için ortam değişkenlerini .env dosyasında belirlemek tercih edilen bir yöntemdir.

Proje klasörünüzün köküne aşağıdaki içerikle bir .env dosyası oluşturun. Bu dosyaya TypeSafe API anahtarının yanı sıra Anthropic API anahtarını da eklemiştim çünkü gerçek görevi Claude’un üstlenecekti. Jev sorguyu doğru Claude modeline yönlendirecek: haiku, sonnet veya opus.

Aşağıdaki kod basit bir model yönlendirmesini göstermektedir. Bu kod Choice (seçim) soru tipini kullanır; bu tip bize verilen bir listeden bir seçenek seçmemizi sağlar. Diğer tipler arasında true/false döndüren noul ve her seçenek için sayısal bir puan döndüren score yer alır.

Choice nesnesinin içinde Jev’in sınıf seçiminde yardımcı olacak talimatları ve kriterleri belirledik. Aynı zamanda minimum güven seviyesini de ayarladık. Eğer Jev yeterli güvende bir sınıf seçemezse, bu puanı farklı şekilde işleyebiliriz. Kodumda bunu en güçlü modele yönlendiriyorum; ancak tamamen uygulamanın tercihine bırakılmış bir konudur.

Son derece basit ancak akıl yürütme gerektirebilecek bir soru için çıktı şu şekilde görünür. Jev bu soruyu işlemek için Sonnet’i seçti, ancak 0.38 gibi oldukça düşük bir güven puanı verdi. Bu nedenle uygulama kodum onu Sonnet yerine Opus’a yönlendirdi.

Daha basit bir soru için alınan yanıtsa şöyle oldu: Bu, akıl yürütme gerektirmeyen ancak yeterli bilgi olmadan cevaplanması kolay olmayan bir soruydu. Jev Sonnet’i seçti ve 0.89 gibi yüksek bir güven puanı atadı. Uygulamam buna uygun olarak Claude Sonnet’i kullanarak yanıt verdi.

Sonuç Yerine Değerlendirme

Model yönlendirme AI sistemlerine muazzam faydalar sağlasa da, benimseme oranı zayıf kaldı. Maliyet-fayda dengesi güvensizliği ve artan gecikmeyi (latency) karşılayacak gibi görünmüyordu. Çoğu sistemde bu yaklaşım isteğe bağlı bir gelişme olarak görüldü.

Oysa mühendis ekipleri uzun süre yönlendirme için ileri düzey modeller kullanıyordu ki bu aşırı yüklenmeye (overkill) karşılık geliyordu. Jev tablo çevirdi ve model yönlendirmeyi hem hızlı hem de ucuz hale getirdi. Bu durum, kaliteden ödün vermeden veya ek bekleme süresi eklemeden uygulamalar oluşturmamıza yardımcı oluyor.

Bu yazı, Jev kullanılarak model yönlendirmenin nasıl uygulanacağına dair somut bir örnek sunmaktadır. Umarım faydalı bulursunuz.