TypeSafe AI’nin Jev modeli: LLM’lere alternatif, kendisini 193 kata kadar daha hızlı ve 445 kata kadar daha ucuz olarak tanıtan.

Yapay zeka dünyasında neredeyse sürekli yeni modeller piyasaya sürülürken, geçen hafta TypeSafe AI’nin ilk “System One” modeli Jev sahne aldı. Geleneksel büyük dil modellerinin (LLM) kullanıcılarla sohbet etmesinden farklı olarak tasarlanan Jev, metin üretmek yerine belirli ifadelerin değerlendirilmesi ve karar verilmesine odaklanıyor; bu yaklaşım programlama amaçlarıyla uyumlu şekilde yapılandırılmış durumda.

Jev’in mimarisini, ChatGPT‘nin temel eğitim tekniklerinden birine ortaklık eden eski OpenAI mühendisi Diogo Almeida geliştirdi. TypeSafe’ın hesaplamalarına göre Jev, önde gelen yapay zeka modellerinden birkaç büyüklük mertebesiyle daha hızlı ve verimli çalışıyor; şirket kendisini 194 kata kadar daha hızlı ve 445 kata kadar ucuz olarak tanıtan sonuçlar açıkladı. Şirket, modelin dolar başına zekâ düzeyini “çok yüksek” olarak nitelendiriyor, ancak bunun pratik kullanımın göstereceğini de ekliyor.

Mimarideki iki temel fark

TypeSafe, bu üstünlüğün iki temel sebebi olduğunu açıklıyor. İlkin, System One modelleri Modelin Kalibre Kararları için Pekiştirmeli Öğrenme (RLCD) ile eğitiliyor ve düz metin üretmek yerine yapılandırılmış yanıtlar vermeye yönlendiriliyor. İkincisi ise muhtemelen önceki bağlamın gerekli olmamasından dolayı, aynı istek içindeki bireysel sorular LLM’lerin sürekli metin üretemesinin aksine paralel olarak işlenebiliyor.

Sıradan bir LLM’i sorguladığınızda karşınıza uçtan uca açık uçlu bir metin sohbeti çıkarken, Jev belirli sorulara doğrudan yanıtlar veriyor ve tüm yanıtları bir güven faktörüyle sunuyor. Kodun ve dolayısıyla makinelerin kullanımı için üretilen bu yapı, kodun Jev’in API’sine bir durum — verilen bir ortam ve buna ait veriler — sağlayarak belirli ifadeleri değerlendirmesini isteyerek etkileşime giriyor. Durum her bireysel istekte sağlanıyor ve küresel bilgi veritabanı ya da saklı bellek bulunmuyor.

Sonuçların güven oranıyla sunulması

Jev’in çıktısı (ve isteğe bağlı girdisi) özünde düz JSON olan önceden tanımlanmış bir veri formatında. LLM’lerle etkileşimin aksine, gereksiz kelimeler, uzun uğraşlı düşünme süreci ya da modelden sadakat isteme zorunluluğu yok. Benzer şekilde, LLM’leri minimal düzeyde öngörülebilir davranmaya ikna etmede sıkça gerekli olan küresel bağlam ipuçları veya kaydedilmiş bellekler için de bir ihtiyaç bulunmuyor. Durum ve soruları sağlamak dışında; girdi ayrıştırma, tarih işleme ya da veritabanı okuma gibi operasyonlar kullanıcının kendi kodunda kalıyor ve Jev’i ilgilendirmiyor.

Bir şirket Jev’e bir müşterinin kredi kartı işlemleri listesi, temel hesap bilgileri, müşterinin son yazdığı şey sunulup “Müşteri iade mi istiyor?” sorusu sorulabilir. Yanıt evet ya da hayır olur ve bir güven derecesiyle gelir. Güven 85’in üzerindeyse, müşteriye tercih ettiği yöntemi çoktan seçmeli olarak “iade”, “mağaza kredisi” veya “belirsiz” seçenekleriyle sorabilirsiniz. Jev ardından her iade seçeneği için bir olasılık dağılımı sunar ve kodunuz iadeyi işlemeyi ya da daha fazla açıklama istemeyi deneyebilir.

TypeSafe AI

Bu mimari ilk bakışta LLM’lere yönelik daha sade bir arayüz gibi görünse de, temelden farklı işliyor. Jev, soruya giden tüm bağlama ihtiyaç duymuyor ya da bunu istemiyor; gereksiz bilgi sağlamak doğruluğu düşürüyor ve bağlam penceresi 64.000 token ile sınırlı. Bot her zaman bir yüzdelik güven oranı ürettiği için, sohbet botlarında olduğu gibi birden ifadeler ve veriler uydurmak anlamında hallüsinasyon görmüyor.

Kararı veren Jev değil geliştirici

Yanıtların güven faktörlerine dayanarak kararı veren Jev değil, geliştiricidir. Jev bilgiyi hâlâ yanlış sınıflayabilir, saldırgan saldırıların kurbanı olabilir ya da anlam yerine sözcüğün birebir karşılığını cevaplayabilir.

Jev’in (ve muhtemelen geleceğin System One modellerinin) en yaygın kullanım alanının, her zaman erişilebilir bir güven faktörü sayesinde karar adımlarına kolayca entegre edilmesini sağlayan, soruların etrafına mantıksal iş akışları kurmak olması bekleniyor. Örneğin “kullanıcının iade istediğine oldukça eminsensek ve mağaza kredisi tercih ediyorsa ve Eylül ayında daha çok PC ekipmanı aldığını görüyorsak, onlara RTX 5090 için %20 indirim de sunabiliriz” gibi bir mantık bu sayede kolayca kurulabiliyor. Dokümantasyonda buna benzer diğer kullanım örnekleri de yer alıyor.

Jev’in gücü ajan gibi davranmada ya da geniş bir sorunu muhakemeyle çözmekte değil; TypeSafe açıkça açık uçlu görevlerin LLM’lere daha uygun olduğunu, belki de Jev’i içeren kodla entegre edilebileceğini belirtiyor. Buna bir örnek olarak, Jev’in sağladığı bilgiyi kullanarak ciddi bir sistem sorunu olup olmadığını değerlendirebileceği ve böyle bir durum varsa LLM’i çağırarak günlükleri (log) inceleyebilecek, sebep arayabilecek ve rapor üretebileceği bir izleme sistemi verilebilir. Benzer şekilde Jev müşteri verileriyle eğitilmiyor ve yalnızca sağlanan durumdan (ve kendi eğitiminden) çıkarım yapılıyor.

Jev’in gerçek anlamda vaat edildiği kadar çalışması koşuluyla, yazılıma derinlemesine entegrasyonun büyük engellerinden birini çözebileceğini savunan gözlemler bulunuyor: sohbet botu LLM’leriyle uğraşmak, pratik açıdan ya öngörülebilir ya da olmayabilen davranışlar sergileyen ve istenen çıktıyı — hele ki doğru çıktını bile— üretemeyen, yavaş ve pahalı “biçimsiz kütleler” oluşturan bu yapılara takılmak. Belirli bir eğitimi ya da özenle hazırlanmış metinsel büyüler gerektirmeden koda temizce entegre edilebilen sade değerlendirme/yanıt/güven arayüzünün çok daha doğal ve kullanımı kolay hissettirdiği belirtiliyor.