TypeSafe AI’den “Jev”: Metin Üretmeyen, Doğru Karar Veren Yeni Nesil Yapay Zeka Modeli.

TypeSafe AI adlı yapay zeka şirketi, birkaç gün önce piyasaya sürdüğü Jev isimli yeni modelle yazılımların doğrudan tüketebileceği yapılandırılmış kararlar üreten bir teknoloji geliştirdi. OpenAI‘de görev yapan ve RLHF ile InstructGPT’in ortak mucidi olarak bilinen Diogo Almeida tarafından kurulan şirket, metin üretmek yerine hızlı ve yapılandırılmış kararlar almayı hedefleyen bu modelle yapay zeka dünyasında dikkatleri üzerine çekti.

Günümüzde kullandığımız çoğu yapay zeka modeli tek bir temel fikre dayanıyor: ona bir girdi verin, metin üretmelerini isteyin. ChatGPT’ye bir soru sorun, cevap üretir. Bir kodlama modeline bir teknik özellik verin, kod üretir. Başka bir modele bir belge sunun, özet üretir.

Karar mı, yoksa metin mi?

Bu yaklaşım çıktı insan için tasarlandığında son derece iyi çalışıyor. Ancak yazılımların çoğu başka bir paragraf metne değil, bir karara ihtiyaç duyuyor. Bu isteğin fatura departmanına mı yoksa teknik desteğe mi yönlendirilmesi gerekiyor? Bu belge kişisel veri içeriyor mu? Metin parçası bir arama sorgusuyla ne kadar ilgili? Bu işlem ek kontroller gerektirecek kadar şüpheli mi?

Bunlar, yalnızca metin üretmekten oldukça farklı problemler. İşte bu ayrım, TypeSafe AI’nin yeni yapay zeka modeli Jev’in arkasındaki fikir.

“Kararlar, string’ler değil.”

TypeSafe AI

Jev, şirketinin ilk “System One Model” (Birinci Sistem Modeli) olarak tanımlanıyor. Bu tip modeller, hızlı ve yapılandırılmış kararlar alması için özel olarak tasarlanmıştır. Jev rastgele metin döndürmek yerine, önceden bizim belirlediğimiz yapılardan değerler üretir.

Maliyet avantajı

Jev’in dikkat çeken özelliklerinden biri maliyeti. Girdi, milyon token başına bir santinin çok küçük bir kısmına mal oluyor ve çıktı token’ları ücretsiz. Bu da modelin yoğun kullanım senaryolarında ciddi bir ekonomik avantaj sunmasını sağlıyor.

Sıradan dil modellerinin karar motoru olarak kullanımı

Ama durun, Claude, Codex ve diğer dil modelleri (LLM) zeki olması gerekiyordu; bunu yapamazlar mı? Evet, yapabilirlir ama birkaç şartla. Diyelim ki bir destek talebimiz var ve programımızın bu belgenin hangi departmana yönlendirileceğini belirlemesini istiyoruz.

Sıradan bir LLM kullandığımızda şöyle bir şey yazabiliriz. Umarız model şu şekilde yanıt verir, ardından çıktımızı ayrıştırip uygulamamızda kullanabiliriz. Bu yaklaşım çalışıyor ve milyonlar uygulama zaten bunun çeşitlerini uyguluyor.

Ama burada biraz tuhaf bir durum var. Üç olasılıktan sadece birini almak için kelime dizilerini üretme kapasitesine sahip bir modeli kullanıyoruz. Modellerin içine gömülü rastlantısallık nedeniyle model teorik olarak hatalı JSON, ek yorumlar, beklenmeyen bir kategori veya tamamen farklı bir şey döndürebilir.

Yapılışmış çıktı sistemleri bunu oldukça iyileştirdi ama temelde yine etkili bir şekilde sınıflandırma operasyonu yapan üretken bir modeli kullanmaya devam ediyoruz. Jev bu probleme farklı yaklaşıyor. Olası çıktı alanı önceden tanımlanıyor. Modelden “fatura” cevabını üretmesini istemek yerine, bilinen alternatifler arasından seçim yapmasını istiyoruz.

Birinci Sistem Modelleri

TypeSafe, Jev’in arkasındaki mimariye “System One Model” adını veriyor. Bu isim, psikolog Daniel Kahneman’ın Düşünme: Hızlı ve Yavaş (Thinking, Fast and Slow) kitabında popülerleştirdiği Birinci/İkinci Sistem ayrımından geliyor.

Birinci sistem, insanların uzun bir akıl yürütme sürecini bilinçli olarak işlemeden yaptığı hızlı yargıları tanımlar. İkinci sistem ise daha yavaş ve daha özlü. Jev ilk kategoriye, Claude ve Codex gibi modeller ise ikinci kategoriye yöneliktir.

Jev’e bir durum verin, ona belirli bir soru sorun ve hızlı bir yanıt alın. Uzun akıl yürütme zinciri üretmek veya makale yazmak için tasarlanmamıştır. TypeSafe modeli şöyle tanımlıyor: Zor kısım, bazı koşulların traditional kurallarla kolayca temsil edilememesi.

Diyelim ki müşteri sinirli görünüyor koşulunu tam olarak nasıl modelleyeceğiz? İşte Jev’in TypeSafe’in “akıllı if bloğu” (smart if-statement) dediği şey haline gelebildiği yer burası. Model belirsili semantik koşulu değerlendirir, normal kodumuz sonraki adımı belirler.

Üç tür soru

Jev şu anda bu kararları üç temel ilkeye indirgiyor: Choice (Seçim), Score (Puan) ve Noul.

Bunların her biri farklı bir karar tipini temsil ediyor. Choice, Jev’in önceden tanımlanmış alternatifler kümesi arasında ayrım yapmasını istediğimizde kullanılır. Bu kavramsal olarak şunu sorabiliriz: Jev asla yeni bir departman uydurmayacak veya cevaba açıklayıcı kelimeler eklemeyecek. Sadece sunduğumuz seçimlerden birini seçecek. Önemlisi, sonucun kazanan etiketi basitçe döndürmek yerine her olası cevapla ilişkili olasılığı da içerebilmesidir.

Sonuç şöyle olabilir ve programımız bu belirsizlikle ne yapacağını belirleyebilir.

Score (Puan), bazen alakasız kategoriler kümesi olmaz. Bunun yerine bir şeyin ölçek üzerinde nerede yattığını bilmek isteriz. Diyelim ki bir mesajın aciliğini ölçmek istiyoruz. Seviyeleri şöyle tanımlayabiliriz ve bu bir Score’dur. Bu seviyeler anlamlı bir sıraya sahiptir. Örneğin şunu tanımlamak için kullanılabilir. Önemli nokta, ölçeğin ne anlama geldiğini biz belirleriz, Jev ise girdiyi bu tanıma göre değerlendirir.

Noul (Noul), biraz alışılmadık bir isme sahip son ilkedir. Bir Noul, evet/hayır önermesini temsil eder ve önermenin doğru olma olasılığını döndürür. Sonucun şuna yakın olması evet için güçlü kanıt anlamına gelir. Şuna yakın olması hayır için güçlü kanıt demektir. Ve şuna yakın olması modelin belirsiz olduğunu, yani önermenin doğru (veya yanlış) olma olasılığının yaklaşık yüzde 50 olduğunu gösterir.

Somut bir örnek

Diyelim ki işlemeden önce girdi dosyalarını kontrol eden bir sistem geliştirmek istiyoruz. Sistemin şunları yapması gerekiyor: a) Bir metin dosyasıyla karşılaştığımızı algulamak ve b) Eğer öyleyse, dosyanın şu anda içerip içermediğini belirlemek. Bu, Jev’in mantıklı olmaya başladığı iyi bir örnek. Traditional kod ilk kısmı kolayca halledebilir ama aynı tabanda farklı Jev ilkelerini kullanabileceğimizi göstermek için onu da yine Jev’in choice operatörüyle yapacağız.

Girdinin geçerli metin olduğunu belirledikten sonra birkaç bağımsız soru sorabiliriz. Bunlar doğal şekilde Noul sorgularına karşılık gelir. Kavramsal olarak Jev şöyle olasılıklar döndürebilir ve uygulamamız sonraki adımı belirler.

Jev semantik yargıyı yapar, programımız operasyonel kararı verir. Tam örnek kodu sunmadan önce bazı test girdi verilerine ihtiyacımız var. İki metin dosyasının oluşturulması için ChatGPT’i kullandım. Biri kişisel veri ve gizli bilgi içeriyor, diğeri içermiyor. Ayrıca belge sınıflandırma tarafının da doğru çalıştığından emin olmak için bir .png resim dosyası ve bir PDF dosyası da temin ettim.

Işte tam kod. Çalıştırmadan önce bir API anahtarına ihtiyacınız var; bunu bir .env dosyasında ayarlayın. Şablon olarak GitHub repo’mdaki (en sonda bağlantılı) .env.example dosyasını kullanın. Anahtarı şuradan alabilirsiniz.

Not: Neredeyse model erişimi şu anda ücretsiz görünüyor. Bir API anahtarı almak için kredi kartı bilgisi girmeme gerek kalmadı.

Sınıflandırıcıyı önce hassas veri içeren metin dosyasında çalıştırdım. İşte o dosyanın görünümü. Gördüğünüz gibi kişisel ve hassas verilerle dolu. Ve Jev’in döndürdüğü şey de buydu. Bu oldukça kesin, çoğu ölçütte yüksek olasılık.

Işte hassas olmayan dosya içeriği ve Jev’in ona döndürdüğü şey. Yine, dosya içeriğinin zararsız doğası göz önüne alındığında tam olarak beklenen buydu. Son olarak bir PDF dosyası ve bir resim dosyası da besledim. İşte döndürülenler.

Sonuç

Günümüzde çoğumuzla tanışık olduğumuz dil modellerinden farklı olarak Jev öncelikle dili üretmek veya sorulara derinlemesine düşünmek için tasarlanmamıştır. Yapılandırılmış kararlar almak için tasarlanmıştır ve hızlıca alır. Bu kararlar şu anda üç ilke etrafında dönüyor.

Bu da Jev’i sınıflandırma, yönlendirme, puanlama, doğrulama ve yazılımdan bir parça metin yerine bir karara ihtiyaç duyulan diğer durumlarda özellikle ilgi çekici kılıyor. Bu yaklaşım yapay zeka mimarisinin yeni büyük dalına dönüşüp dönüşmeyeceği belli değil ama temel fikir düşünülmesi gereken bir fikir.

Yapay zeka laboratuvarları son birkaç yılı dil modellerini insanlar için konuşma konusunda daha iyi yapmak harcadı. Jev ise diğer taraftaki şeyinsan hiç değilse, başka bir programsa yapay zekanın nasıl görünmesi gerektiğini soruyor.

Bu makale için kullandığım tüm kod ve girdi dosyaları GitHub repo’mda: https://github.com/taupirho/jev-test. Resmi Jev duyuru sayfası şurada bulunabilir.