PrismML: Küçük dil modelleriyle yapay zekayı her yerde kullanma biçimini değiştirmeyi hedefliyor.

Yapay zeka laboratuvarı PrismML, kendi geliştirdiği son derece küçük boyutlu büyük dil modellerinin (LLM) teknoloji sektöründe kullanım biçimini değiştirme umudu taşıyor. Caltech araştırmacılarından kurulan ve üniversiteden olan uzmanlardan oluşan ekip, güçlü ve üst düzey performans gösteren akıl yürütme modellerinin zorunlu olarak büyük olması gerekmediğini savunuyor; böylece bu modellerin kişisel bilgisayarlara ve akıllı telefonlara sığdırılması hedefleniyor.

Şirket, teknolojinin sektörü değiştirebilecek potansiyel taşıdığı için dikkatleri üzerine çektiğini vurguluyor. PrismML henüz büyük ölçekli finansman toplamadı; yerine 22,25 milyon dolarlık bir tohum turu gerçekleştirdi. Şirketin bu kadar dikkat çalmasının asıl nedeni, arkasında yer alan teknik isimler ve geliştirdiği potansiyel olarak sektörü dönüştürecek teknoloji olduğunu belirtiyor.

Kişisel cihazlara sığan akıl yürütme modelleri

PrismML, üst düzey performans sunan reasoning (akıl yürütme) modellerinin aslında büyük olmak zorunda olmadığını savunuyor. Şirket, kişisel bilgisayarlara ve akıllı telefonlara sızabilecek kadar küçük modeller üretmeye odaklanıyor. Bu alandaki iddiaları o kadar güçlü ki, şirketin Apple ile görüşmeler yaptığına dair söylentiler dolaşıyor; ancak CEO Babak Hassibi bu konuyla ilgili TechCrunch’a yorum yapmaktan kaçındı.

Perşembe günü PrismML, model ailesinin en yeni üyesi olan Bonsai 2 27B’yi yayımladı. Bu model, Alibaba’nın açık kaynaklı ve yaygın olarak kullanılan Qwen3.8 27B modeli sıkıştırılarak 5,9 GB’a indiriliyor. Boyutun küçük olması, modellerin kişisel bilgisayarlara hatta muhtemelen üst düzey bir akıllı telefona sığabileceği anlamına geliyor. Orijinal modele kıyasla bellek kullanımında 9 ila 10 kat azalma sağlanıyor.

Teknik ekip ve yatırımcılar

PrismML, Caltech araştırmacılarından oluşan bir grup tarafından kuruldu ve CEO Babak Hassibi’nin yönetiminde yürütülüyor. Hassibi, sıkıştırma teknolojilerinde uzman bir Caltech profesörü. Şirket aynı zamanda Databricks’in kurucularından biri ve Berkeley’nin ünlü Sky Computing Lab’ının direktörü olan Ion Stoica’yı da danışman olarak bünyesinde bulunduruyor. Stoica, Letta’dan SGLang’a kadar birçok teknoloji ve girişimi besleyen laboratuvarın yöneticisi.

PrismML ayrıca Khosla Ventures, Cerberus Capital ve Caltech gibi yatırımcıların desteğini alıyor. Bu girişim yalnızca LLM sıkıştırma teknolojisi üzerinde çalışan tek şirket değil; İspanya’daki Donostia International Physics Center’dan tanınmış bir profesör tarafından kurulan Multiverse Computing da aynı alanda faaliyet gösteriyor. Multiverse Computing, bu arada büyük ölçekli finansman topladı.

Sıkıştırma teknolojisindeki özgünlük

Hassibi, PrismML’in sıkıştırma teknolojisinin özgün olduğunu çünkü modellerin orijinalleriyle karşılaştırıldığında neredeyse hiç performans kaybetmediğini söylüyor. Bonsai 2, Qwen’in kümülatif puanlarının %98’ine denk geliyor. Bu oran, birkaç ay önce, Mart ayında yayımlanan ilk Bonsai modelinin %95’inden bir artış gösteriyor. Şirketin verdiği bilgiye göre, orijinal model şu ana kadar 11 milyondan fazla kez indirildi ve PrismML’in daha küçük modelleri de 2,6 milyon kez daha çok indirildi.

Bu durum, şirketin sıkıştırma sonuçlarının bir sürümden diğerine geliştiklerini gösteriyor. Yine de %100 puan dengesi elde edilebilecek olup olmadığı belirsizliğini koruyor. Hassibi, sıkıştırmanın her zaman belirli bir etkiye sahip olacağını belirtiyor.

Mükemmel puan dengesi oldukça akademik bir konu. LLM’ler sıkıştırmamış biçimlerinde o kadar doğru değil ve görevlerin gerçek durumunu o kadar mükemmel yansıtmıyor ki, %2’lik bir azalmanın modelin gerçek kullanımdaki performansını muhtemelen etkilemesi beklenmiyor. Ayrıca modeli çalıştırdığı çevre yazılımın da doğruluk açısından büyük önemi var.

PrismML

Ternary ağırlık tekniği

PrismML, bunu modeli oluşturan “ağırlıklar”sı küçülterek başarıyor. Ağırlıklar, temelde bir modelin eğitim sırasında öğrendiği ve depoladığı bilgiyi temsil ediyor. Normalde her ağırlık 16 bit gerektiriyor. PrismML’in “ternary” (üçlü) ağırlık olarak adlandırdığı yaklaşım bunu üç değere indirgiyor: +1, −1 veya 0. Her ağırlık için depolanacak çok daha küçük değerlerle model önemli ölçüde az yer kaplıyor.

Büyük modellere genişleme planı

Girişimin bir sonraki hedefi, bu sıkıştırma tekniğini daha büyük modellere uygulamak. Birkaç ay içinde yayımlanması umulan bir sonraki modellerin birkaç yüz milyar parametrelik aralıkta olacağını ve zekayı korumanın orada daha kolay olacağını ifade eden Hassibi, model boyutu büyüdükçe sıkıştırma için daha fazla alan bulunduğunu vurguluyor.

Model boyutu büyüdükçe, zekayı kaybetmeden onları sıkıştırmak için daha fazla alan oluyor. Genel bir eğilim olarak söyleyeyim: daha büyük modeller için %100’e ulaşmak daha kolay.

Babak Hassibi, PrismML CEO’su

Ionic Stoica ise bu teknolojiye heyecan duyduğunu çünkü gelişmiş modellerin kullanıcıların cihazlarında çalışmasını mümkün kıldığını söylüyor. Gelişmiş modellerin kullanıcıların parmak uçlarında olacağını ve bunun ücretsiz olacağını, çünkü zaten satın aldığınız cihazda çalışacağını belirtiyor. Aynı zamanda gizli kalacağını da ekliyor; çünkü verilerinizi buluta göndermeyeceksiniz.