Yapay zeka ajanlarının talimatları tam olarak uygulayarak beklenmedik sonuçlara yol açtığına dair haberler giderek yaygınlaşıyor. Bu seferki örnekte, geliştirici Sebastien Guillemot’un Claude adlı yapay zekası, 700 GB’lık bir veri klasörünü silerek büyük bir soruna neden oldu. Olayın ardından modelin performansı otomatik olarak düşürüldü.
Guillemot, sıklıkla yapay zeka ajanlarını kullanıyor ve bu ajanların genellikle işlem bittikten sonra temizlik yapmadığını, bunun sonucunda da /tmp dizininde gereksiz dosyalar biriktiğini gözlemlemişti. “Eğer elinizde bir çekiç varsa, her şey çivi gibi görünür” sözünü akla getiren Guillemot, Claude Fable’dan, her ajanın kendi klasöründe çalışmasını ve işlem bittikten sonra temizlik yapmasını sağlayan bir betik yazmasını istedi.
Fable, çalışan ajanları tespit edip silme işlemini geciktiren bir mantık eklemeyi önerdi, ancak Guillemot betiğin çok karmaşık olduğuna karar verdi. Belki de betik, doğrudan veri silme işlemi içerdiği için, Fable kendi bulgularını güvenlik açısından kontrol etmek amacıyla kendini kopyaladı ve yeni bir versiyon çalıştırdı. Anthropic’in güvenlik protokolleri, bu durumu yeterince riskli bularak modelin performansını Opus 5’e, ardından da Opus 4.8’e düşürdü.
Opus 4.8 sürümü, silme komutunun hedeflerini /tmp dizini ve kullanıcı diziniyle karşılaştırmayı amaçlayan bir güvenlik testi çalıştırdı. Bu hedefler doğru şekilde tespit edildi. Ancak, testin bir parçası olarak temizlik yapılması gerektiğinden, kullanıcı dizini de silindi; bu işlemde aynı değişken adı hem test için hem de temizlik işlemi için kullanıldı.
Guillemot süreci durdurdu, ancak çok geç kalmıştı. Üstelik, ajanın Guillemot’un çalışmalarını sildikten sonra /tmp dizinini temizlemesi, durumu daha da ironik hale getirdi. Bazı kullanıcılar bu tür durumlarla başa çıkmak için çeşitli araçlar ve çözümler önerdi, ancak bunların varlığı bile durumu düşündürücü kılıyordu.
Güvenlik endişeleri nedeniyle modelin daha düşük performanslı bir versiyona düşürülmesi de soruna katkıda bulundu. Fable 5’in, kodlama görevlerinde Opus 4.8’den daha iyi performans gösterdiği göz önüne alındığında, değişken adlarındaki tutarsızlığı tespit edebilmiş olabileceği düşünülüyor.
Geliştirici, büyük bir kısmını git, nix, oturum kayıtları ve diğer kaynaklardan geri almayı başardı. Ancak, bu olay, düzenli veri yedeklerinin önemini bir kez daha vurguluyor.
Yapay zeka dünyasındaki gelişmeler hakkında en son haberleri, analizleri ve incelemeleri kaçırmamak için , veya adreslerini takip edin.
Bu Gelişmeyi Toplulukta Değerlendirin
Haber hakkındaki düşüncelerinizi, donanım deneyimlerinizi ve teknik sorularınızı topluluk üyeleriyle anlık olarak tartışın.
Bir yanıt yazın