Anthropic araştırmacısı Jacob Coxon, yapay zekanın 2030’a kadar insanlığı yok edebileceği endişesiyle işinden ayrıldıktan bir gün sonra, kurucular ve kayneciler Rune Kvist ile Rajiv Dattani ile görüştüm. Bu iki isim, tüm dünyayı kurtarabilecek ya da en azından girişimlerin içindeki otonom yapay zeka ajanlarının kontrolden çıkmasını engelleyebilecek bir çözüm bulduklarını düşünüyor.
Kvist, Anthropic’in erken dönem çalışanlarından biri ve aynı zamanda Dattani’nin kız kardeşine evli. Dattani ise yapay zeka güvenliği araştırma kuruluşu METR’in eski Operasyonlardan Sorumlu Yöneticisi (COO). İkili, yapay zeka güvenliğini girişimlere ve yapay zeka modelleri ile ajanları geliştiren şirketlere taşımayı hedefleyen Artificial Intelligence Underwriting Company (AIUC) adında bir girişim kurdu. Girişimin müşteri portföyünde Cursor, Lovable, Harvey ve ElevenLabs gibi isimler yer alıyor.
Dördüncü Nesil Siber Güvenlik Modelinden İlham
AİC, salı günü Ribbit Capital önderliğinde 40 milyon dolarlık Seri A fonlama turunu açıkladı; turda First Harmonic da katıldı. Şirket daha önce Nat Friedman’ın NFDG adlı fonu aracılığıyla 15 milyon dolarlık tohum (seed) turunu kapattı; ayrıca Emergence, Terrain ve Anthropic kurucu ortağı Ben Mann da dahil olmak üzere yatırımcılarla birlikte toplamda 55 milyon dolara ulaşan finansmanı tamamladı.
Bu üst düzey yatırımcı grubunun dikkatini çeken şey, AIUC’nin tanıdık bir siber güvenlik modelini yapay zeka risklerinin yeni bir kümesine uygulamaya çalışması. Şirket, otonom ajanlar için üçüncü taraf denetim ve sertifikasyon katmanı geliştirdi.
“Yapay zeka giderek daha akıllı hale geliyor ve hızla zekalanıyor. Yapay zekanın şaşırtıcı yanı, daha akıllı hale geldikçe benimsemenin ve kontrol etmenin kolaylaşmak yerine zorlaşmasıdır,” dedi Kvist.
Rune Kvist, AIUC Kurucusu
Sertifikasyon Standardı ve Test Süreci
Geniş çapta kabul gören siber güvenlik standardı SOC 2’yi ilke edinen AIUC, AIUC-1 adında bir standart ve ajanları bu standarta göre doğrulayan bir hizmet geliştirdi.
Standardı oluşturmak için AIUC, yaklaşık 250 güvenlik ve risk yöneticisinden oluşan bir konsorsiyum topladı — yani ajanların alıcıları. “Bu kişilerle her ay görüşüyoruz ve onlara sorduğumuz soru şu: Birinden satın aldığınız ajanlar için neye bakarsınız? Ne tür sorular sorardınız ve neyin ele alınmasını isterdiniz?” dedi Dattani TechCrunch’a.
Bu geri bildirimler testleri şekillendiriyor. Girişim ardından bir ajanı, kırılma (jailbreak), halüsinasyon ve veri sızıntısı içeren senaryolarda nasıl davrandığını görmek için yaklaşık 5.000 testlik bir dizi üzerinden geçiriyor. Sonuçlar, bir ajanın nerede güvenli ve güvenilir şekilde çalıştığını — ve nerede çalışmadığını detaylandıran yaklaşık 100 sayfalık bir rapor üretiyor. İlginç olan şu ki, AIUC testleri çalıştırmak için otonom yapay zeka ajanlarını ve verileri analiz etmek için yapay zekayı kullanıyor; ancak nihai denetimi insanlar doğruluyor, Kvist söyledi.
METR ile Benzerlikler
Bu biraz tanıdık geliyorsa öyle. Dattani’nin eski iş yeri METR’de 2024’ten 2025’e kadar COO olarak görev yaptı ve hala yönetim kurulu üyesi; ileri düzey laboratuvarlar (frontier labs) için benzer testler yapıyor, ancak sonuna kadar odaklanma çoğunlukla performans üzerindeydi — yani ajanların görevleri güvenilir şekilde tamamlayabilmeleri. METR, bağımsız araştırma kuruluşlarından biriydi.
Anthropic CEO’su Dario Amodei de yakın zamanda ileri düzey gelişimin hızlandırılması için yapay zeka sektöründen çağrı yaptı ve kötü davranışlı olayların hızlı artışı nedeniyle bu talebi dile getirdi. Gönderisinde Amodei, ileri düzey laboratuvarlardan, güvenliği gözlemlemek ve doğrulamak için gömülü üçüncü taraf değerlendircilerini kullanmalarını istemek fikrini sundu ve METR’i olası adaylardan biri olarak sıraladı.
“İşte burada geçiyor ve burada güvenebileceğiniz yer. İşte endişe duyulan yerler. Satın alma kararı vermeden önce bu referansları bilmeniz gerekir,” dedi Dattani.
Rajiv Dattani, AIUC Kurucusu
AIUC müşteri sitelerinde kendisini gömmeyi önermese de, genel fikir benzer: Giriimlere otonom yapay zeka ajanlarının ne kadar güvenli olduğuna dair bağımsız bir değerlendirme sunmak. Bu yaklaşım, girişimlerin kendi müşterilerine yönelik taahhütlerini yerine getirmelerine ve yapay zekanın neyi yapıp neyapmayacağına dair güvence vermelerine yardımcı olmayı hedefliyor.
Bu Gelişmeyi Toplulukta Değerlendirin
Haber hakkındaki düşüncelerinizi, donanım deneyimlerinizi ve teknik sorularınızı topluluk üyeleriyle anlık olarak tartışın.
Söz sizde.
Deneyiminizi, sorularınızı ve katkılarınızı paylaşın. E-posta adresiniz yayımlanmaz.