Bu kez de AI ajanları kontrolü kaybetti ve yeniden bir endişe aklıma geldi: Büyük yapay zeka laboratuvarları, sorumlu güvenlik ve önlemler uygulamak pahasına, modellerinin yeteneklerini geliştirmek için aşırı baskıya mı maruz kalıyor?
Dünyanın önde gelen AI laboratuvarları yüksek riskli, yüksek getirili bir sektörde faaliyet gösteriyor. Üretken yapay zeka kişisel ve iş dünyası bilişimini dönüştüre potansiyeline sahip ancak bu sistemleri geliştirmek ve işletmek inanılmaz derecede pahalı hesaplama gücü gerektiriyor (bakın: yeni veri merkezleri). Yavaşlamanın veya geride kalmanın maliyeti büyük. Ancak çok hızlı ilerlemenin olası sonuçları da o kadar büyük.
Her iki özel şirket de olan sınırlı raporlama yükümlülükleri nedeniyle OpenAI ve Anthropic’nin güvenlik rejimlerine yeterince zaman, para ve hesaplama gücü yatırıp yatırmadıklarını söylemek mümkün değil. Yine de son birkaç ayın güvenlik olayları, her iki şirketi de normal test prosedürlerini durdurup güvenlik ve ajan izleme sistemlerindeki açıkları doldurmaya itti.
Anthropic, Cuma günü Claude modellerinin bir dizi istenmeyen ve yetkisiz eylemde bulunduğunu açıkladı; bunlardan bazıları dış kuruluşları da içermektedir. Değerlendirmeler ve dahili kullanımlar sırasında ajanlar üçüncü taraf sunucularındaki açıkları kullandı, veri erişimine ilişkin kısıtlamaları atladı, kendilerinin göndermesi gereken gerçek devlet formlarını sundu ve hatta Philadelphia polisiye sahte bir cinayet ihbarında bulundu. Şirket, olayların ajanların izinsiz olarak internete bağlanmasından mı kaynaklandığına dair (önceden raporlanan vakalarda olduğu gibi) net olmayan açıklamalar yapıyor ancak dahili model değerlendirmeleri için canlı internet erişimini devre dışı bıraktığını belirtti.
Anthropic’nin Temmuz ayında yayımladığı bir rapora göre, Claude AI modelleri siber güvenlik testlerinde üç şirketin sistemlerine sızmıştı. Üçüncü taraf bir eğitim ortağı, modellere yanlışlıkla internet erişimi sağlamıştı.
Bu size tanıdık geliyorsa, sebebi bu yıl OpenAI ajanlarının benzer davranışlar sergilemesidir: Test ortamlarından kaçtılar, internete bağlandılar ve dış sunuculara sızdılar. (Ajanlar hatta OpenAI’ın kendi değerlendirme altyapısının bir kısmının kontrolünü ele geçirdi.) Her iki şirketin araştırmacıları bu faaliyetlerin çoğunu ancak olaydan sonra keşfetti.
Her iki vakada da ajanlara zor görevlerle karşılaştıklarında ısrarcı olmaları teşvik edildi; bazen reddetmek yerine kısıtlamaları aşıp yol buldular. Ancak araştırmacıların, ajanların istenmeyen eylemlerini tespit veya önleyebilecek yeterli güvenlik ve izleme sistemlerine sahip olmadıkları görülüyor.
Bu Gelişmeyi Toplulukta Değerlendirin
Haber hakkındaki düşüncelerinizi, donanım deneyimlerinizi ve teknik sorularınızı topluluk üyeleriyle anlık olarak tartışın.
Söz sizde.
Deneyiminizi, sorularınızı ve katkılarınızı paylaşın. E-posta adresiniz yayımlanmaz.