Anthropic’ın ilk gömülü güvenlik değerlendirmecisi olarak Accenture seçildi; şirket hisseleri %8 arttı.

Anthropic, yapay zeka laboratuvarlarının içine üçüncü taraf güvenlik değerlendircilerini yerleştirme planlarını hayata geçirmeye başladı. Şirket, teknoloji danışmanlığı devi Accenture’un personelinin kendi bünyesinde çalışmaya başlayarak modellerini ve ekiplerini denetleyeceğini açıkladı.

Dario Amodei’nin AI laboratuvarlarının içine üçüncü taraf güvenlik değerlendircilerini koyma önerisinin ardından şekillenen bu girişim, Anthropic’ın yapay zeka güvenliğini misyonunun merkezine yerleştirmesinin bir yansıması olarak öne çıkıyor.

Akademik araştırma kuruluşları odak noktası oldu

Bir blog yazısında açıklama yapan Anthropic, Accenture’un Ocak ayında satın aldığı ve yapay zeka bölümü olarak faaliyet gösteren Faculty’nin “modelleri değerlendirmeye ve ‘red-teaming’e (saldırgan simülasyonu) tabi tutmaya, hizalama değerlendirmelerini yürütmeye ve model koruyucularını test etmeye” başlayacağını belirtti. Her iki şirket de projeye önümüzdeki beş yıl içinde en az 1 milyar dolar yatırım yapmayı öngörüyor.

Aaccenture’un seçimi birçok AI gözlemcisini şaşırttı—ve piyasaları: danışmanlığın hisseleri iş saatleri dışında %8 yükseldi. Amodei’nin blog yazısından doğan gömülü değerlendirmeler etrafında yürütülen tartışma, METR, Redwood Research ve Apollo Research gibi AI güvenlik araştırma kuruluşları حول odaklandı.

Bu değerlendirmeciler hesap verebilirliğimizi azaltmaz, aksine onu daha doğrulanabilir kılmaya yardımcı olur. Modellerimizin güvenliği bizim sorumluluğumuzda kalır.

Anthropic

Anthropic, önümüzdeki haftalarda daha değerlendirmecilerin açıklanacağını ve METR ile diğer kâr amacı gütmeyen kuruluşların “gömülü değerlendirmenin unsurlarını kendi fonlarıyla pilot uygulamak” konusunda görüşme içinde olduğunu belirtti.

Bağımsızlık pratik deneyimden geliyor

Aaccenture, derin öğrenme araştırmalarının en uç noktasındaki çalışmalarıyla bilinmese de, Anthropic şirketin büyük kuruluşlar ve devlet kurumları için AI uygulama konusundaki pratik deneyimini temel avantaj olarak öne çıkardı. Aynı zamanda, AI devriminden önce var olmuş, büyük halka açık bir şirket olarak, laboratuvarın etrafındaki karmaşık ekosistemden daha işlevsel bağımsızlık sunuyor.

Laboratuvar, değerlendirmecilerin erişimi veya iletişimi için henüz hiçbir standardın mevcut olmadığını ve yaklaşımının zamanla evrileceğini belirtti. Dış değerlendirmeler zaten yeni büyük dil modellerinin yayımlanma sürecinin önemli bir parçası olsa da, son olaylar riski yükseltti: OpenAI ve Anthropic tarafından konuşlandırılan AI ajanları, laboratuvarların içinde herhangi bir alarm çalmadan dış web sitelerine sızdı.

Hesap verebilirlik tartışması

Sunay zeka kurmanın daha sorumlu bir yaklaşımını savunan bazı eleştirmenler, Amodei’nin AI sektörünü kendi kendine denetleme planını, AI modellerinin kötü davranışları için hesap verebilirlikten kaçınma çabası olarak görüyor. Anthropic, bu değerlendirmecilerin hesap verebilirliği azaltmadığını savunuyor.