OpenAI Karışık Karar Modelleri Rekabeti Sıcaklanırken Jev Rakibini Yaygın Hale Getirdi.

OpenAI, ilk kez kararlar için tasarladığı Decisions API modelini kullanıcıların geniş çapta kullanımı sunarak; son dönemde TypeSafe’yi 7,6 milyar dolarlık bir şirkete dönüştüren hızlı ve ucuz zekâ pazarına girdi. TypeSafe, önde gelen laboratuvarlardan birinde çalışan eski bir araştırmacı tarafından kurulmuş bir girişimdir.

TypeSafe’nin Jev modeli, süper sınıflandırıcı gibi davranan derin öğrenme modelleri için yeni bir kategori yarattı: Belirli bir seçenek kümesi verildiğinde hızlıca seçim yapabilir ve verdikleri karara bir güven puanı ekler. Yazılım geliştiriciler, bu karar veya System One modellerinin çeşitli iş akışlarında LLM’leri yerine geçebileceğini, daha hızlı çalışıp çok daha düşük maliyetle hareket ettiğini hızla fark etti.

OpenAI’nin API’lerinden sorumlu ürün yönetmeni Nikunj Handa, TechCrunch’a meslektaşlarının Jev’i görüp “vay, bunun için sanki milyonlarca kullanım durumu var” demesi üzerine kendi sürümlerini sunmak için yarıştıklarını söyledi. Handa’nın ekibi, özel olarak ayarlanmış bir karar modeli kurmak yerine ChatGPT Luna’yı alıp çıkarımı hızlandıracak ve maliyeti düşürecek şekilde yeniden yapılandırdı.

“Decisions API’deki büyük kırılma noktası hız oldu; bir ila üç saniye süren işlemleri 100, 120, 180 milisaniyeye indirdik,” dedi Handa. “Gelecekte modellerimizi bu açıdan daha da iyi kılmak için belli başlı eğitimler verebiliriz. Ancak şu an işi yapan sıradan eski Luna.”.

29 Eylül’de şirketin geliştirici gününde duyurulan Decisions API, Perşembe günü tüm müşteriler için kullanıma açıldı. OpenAI, halka açık sürüme yeni ses ve görsel biçimlerini ekledi ve çıkarım kaynaklarını coğrafi olarak hedefleyerek dünya genelinde daha düşük gecikme süresini güvence altına almaya çalıştı.

Box, Datadog, Ramp ve Speak gibi müşterilerle yapılan ilk denemelerde mühendisler API’yi kullanarak OpenAI’nin LLM’lerini daha yüksek veri işleme kapasitesiyle değiştirdi. Yapay zekâ dil hocaları geliştiren Speak’in baş teknoloji sorumlusu Andrew Hsu, Decisions API’nin şirketin bir eylem ile diğerinin arasındaki süreyi 1,4 saniyeden 0,13 saniyeye indirdiğini söyledi. OpenAI, ürünü Dots sesli asistanının tepki hızını artırmak için de kullandı.

Yine de, “sizin için çalıştığı” dışında iyi bir karar modelini iyi yapan şeyin tam olarak ne olduğu belli değil; zekâ, maliyet, kalibrasyon ve hız arasındaki optimizasyonun iş yüküne göre farklılık göstermesi bekleniyor. TypeSafe CEO’su Diogo Almeida, kıyaslama testlerine şüpheyle yaklaşıyor ve modelleri kendi çalışmalarında denemeyi çağırıyor; ancak TypeSafe bile en son Jev modelinin duyurulmasıyla birlikte geçen hafta kendi sıralamasını yayımladı ve bu sürüm görsel desteği ve akıllı-if ifadeleri gibi yeni özellikler içeriyor.

AIM System One Index ve Artificial Analysis Decision Index gibi kamu kıyaslama testleri, çoğunlukla Liquid’in geçen hafta çıkardığı yeni bir karar modeli olan D1 Ultra ile Base Lab’ın Elephant-1’ini öne çıkarıyor. En son Jev modeli her iki indekste de rekabetçi kalmaya devam ederken, yedinci ve üçüncü sırada; OpenAI’nin Decision Model’i ise sırasıyla sekizinci ve on dördüncü sırada yer alıyor. Ancak TypeSafe’nin sundukları şu an için OpenRouter’da en çok sorgulananlar.

Ancak Jev’in en eğlenceli kıyaslama testi JevMan; karar modellerinin PacMan oynadığı bir test. Bu testi geliştiren Opper AI’nın büyüme sorumlusu Felix Wunderlich, klasik oyunun “sürekli akan, hızlı ve yüksek riskli kararlar nedeniyle ilginç bir test olduğunu” söyledi. “Her kavşakta model, birkaç yüz milisaniye içinde nereye gideceğine karar vermelidir.”.

OpenAI’nin muhtemelen daha yetkin modeli çok biçimlilikte avantaj sağlayabilir; görsel sınıflandırma için “Luna son derece güçlü ve daha iyi kalibrasyonlar gösteriyor,” dedi Handa, OpenAI müşterilerinin Decisions API’nin görselleri çıktı olarak da kullanma konusunda daha esnek olmasını istediğini ekledi.

Handa, hızdaki artışların yeni kullanım durumlarını mümkün kıldığını da gördü: “Bunu 60 milisaniye gibi bir şeye ulaştırabilir miyiz ve ardından her bir video karesi için çağrı yapan bir API hayal edebilir misiniz?”.

Bu sunduklar daha hızlı ve ucuz hale geldikçe, Jev’in adını veren iktisatçının söylediğini yerine getirmelerini bekleyebiliriz; bir kaynağı daha verimli kullanmanın onu daha yaygın hale getirdiğini açıklayan bu iktisatçı. Ya da Handa’nın görüşüne göre, karar modelleri ortaya çıkarana kadar düz önümüzde gizli duran “çılınmış bir kullanım durumu kümesi” genişleyecek.