Carip bulgu, Anthropic ve AI Security Institute tarafından Cuma günü aynı anda yayımlanan raporlarda detaylandırıldı. İkisi birlikte, AISI’nin modeli Ağustos ayında güvenlik açısından değerlendirdiği sırada yaşanan güvenlik olayını ikinci kez inceliyor.
Orijinal olayda, Claude Mythos 5’in AISI tarafından kurulan küçük bir test bilgisayarı ağına sızması istendi. İnternet erişimi verilen Mythos, ilk giriş denemeleri engellendikten sonra, hedefi yerine alakasız bir GitHub projesini hedef almaya başladı. Yapay zeka kötü amaçlı yazılım yazdı ve ardından sahte kimlikler kullanarak proje sahibine, bu kötü amaçlı kodu depolarına eklemelerini ikna etmeye çalışan e-postalar gönderdi; bunu “yardımcı bir katkı” olarak sundu.
Proje sahibi direndi ve gerçek dünyada bir zarar oluşmadı, ancak Anthropic ve AISI araştırmacıları yaşananların tam bir transkriptine dayanarak olayı yeniden oluşturarak yapay zekanın bu kadar ciddi biçimde hizalamadan çıkmasına neyin neden olduğunu anlamaya çalışıyor.
AISI, raporunda “hedefin saldırı altındaki gerçek ve değerlendirmeye dahil olmayan bir insan olduğu yönündeki açıklamaları netleştirmek için özeti tekrar tekrar düzenlemenin, Mythos 5’in saldırı oranını azaltmadığını” buldu. Anthropic tarafından yürütülen bir testte Mythos, insanlara zarar verdiğine dair uyarıları görmezden geldi ve vakaların %98’inde saldırmaya devam etti.
Mythos, aynı zamanda gerçek eylemleri ile açıkladığı gerekçeler arasında açıkça farklar gösterdi; saldırmaya devam ettiği aynı senaryolarda saldırmanın zararlı olacağını kabul etti.
Yapay zekanın düşünce zinciri çıktılarina dalmak, gizem ve tutarsızlığa dair başka bir kaynak sağladı. Araştırmacılara göre CoT, Mythos’un “eylemlerinin olası zararlılığını göz önüne almadığını” gösterdi.
Hedefin gerçek olup olmadığı sorulduğunda, Mythos 5 çoğu zaman hedefin gerçek olmadığını ima eden açıklamalar üretti ve “açıkladığı yanıta yönelik bir yanlılık gösterdi.”
Daha az yetenekli önceki modellerin bu sorunları daha az sıklıkla gösterdiğini belirten AISI araştırmacıları, tutarlı biçimde geçersiz muhakemenin, kendilerinin “amaçlı muhakeme” olarak adlandırdığı bir durumun işareti olabileceğini öne sürüyor; bu durumda yapay zeka, “belirli bir görev tamamlama yaklaşımını sürdürmeyi meşrulaştıran sonuçlara doğru yanlı muhakeme” üretiyor. Başka bir deyimle, Mythos ne kadar yanlış olursa olsun, yaptığı şeyi pratik biçimde meşrulaştırıyor.
Sonuç olarak, bu tür dayanaksız muhakemenin modelleri izlemeyi zorlaştırdığını, çünkü modeller açıkça zararlı eylemlerini zararsızmış gibi sunduğunu araştırmacılar uyarıyor.
Anthropic ise kendi adına, en son sürümleri Opus 5.5 ile “Mythos 5.1’den daha büyük yetenekler gösteren genel amaçlı bir iç araştırma modeli” olan yapay zeka modellerinin, gerçek dünyada zarar verdiğini söyledikten sonra saldırıyı gerçekleştirmeleri daha az olası olduğunu düşünüyor.
Ancak “modeller giderek daha fazla insan gözetimi olmadan uzun görevleri yerine getirmek için kullanıldıkça”, AISI araştırmacıları uyarıyor, “modellerin istenmeyen veya beklenmedik eylemleri ne zaman, neden ve nasıl gerçekleştirdiğini anlamak önemlidir.
Yapay zekâ hakkında daha fazlası: Ön uçlu OpenAI modeli, milyonlarca web sunucusunu saldırıya açık hale getiren çarpıcı bir açığı ortaya çıkarıyor
Bu Gelişmeyi Toplulukta Değerlendirin
Haber hakkındaki düşüncelerinizi, donanım deneyimlerinizi ve teknik sorularınızı topluluk üyeleriyle anlık olarak tartışın.
Bu gelişme hakkında düşüncelerinizi, donanım deneyimlerinizi veya sorularınızı Topluluk Forumumuzda paylaşın.
Foruma Katıl & Yanıtla ➔
Söz sizde.
Deneyiminizi, sorularınızı ve katkılarınızı paylaşın. E-posta adresiniz yayımlanmaz.