geliştirdiği bir yapay zeka modelinin, otomatik testler sırasında Philadelphia polis web sitesine sahin bir cinayet ihbarı sunduğu ortaya çıktı. Şirketin bu olayı iki aydan fazla fark etmediği belirtildi.
Philadelphia Polis Departmanı, modelin bu sahte bilgiyi PhillyUnsolvedMurders.com aracılığıyla gönderdiğini açıkladı; söz konusu site çözülememiş katliemlerle ilgili halkın ihbarlarını topluyor. Olay 18 Temmuz saat 23:27’de gerçekleşti ancak Anthropic 28 Eylül’e kadar fark etmedi. Şirket, departmanın bir bildirimine göre 7 Ekim’de polisi bilgilendirdi.
Gönderme otomatik olarak spam olarak işaretlendi ve asla soruşturmacılara ulaşmadı. Polis, departman sistemlerine izinsiz erişim veya sızdırılmış veri kanıtının olmadığını söyledi.
Philadelphia polisine göre, Anthropic olayın modelinin rastgele seçilen web sitelerini kapsayan otomatik testler yürütürken meydana geldiğini belirtti. Bu testlerden birinde model polisin ihbar sitesine erişip çözülmemiş bir cinayet hakkında bilgi sahibi olduğu şeklinde sahin bilgiler sundu.
Departman, göndermenin soruşturma sürecine girmeden önce engellendiğini söyledi. Reuters’in alıntıladığı bir açıklamada Philadelphia polisi şunu belirtti: “Gönderme spam olarak işaretlendi ve Araştırma için Gerçek Zamanlı Crime Center’a soruşturma değerlendirmesi veya yayılması için iletilmedi.”
Anthropic olayı 28 Eylül’de fark etti ve göndermeyi sağlayan otomatik test sürecini derhal durdurdu. Şirket, polise paylaştığı bilgilere göre benzer olayların önüne geçmek amacıyla ek bir doğrulama mekanizması da devreye aldı.
Bununla birlikte departman, hangi Anthropic modelinin dahil olduğunu veya sahin bilgi göndermesine neden olan belirli talimatları ifşa etmedi. Olay, otonom sistemlerin halka açık web sitelerle etkileşime girdiğinde kullanılan güvence sorularını gündeme getiriyor; özellikle hassas bilgilerle uğraşan siteler bu konuda kritik önem taşıyor.
Sgt. Eric Gripp, departmanın kamuya ilişkiler memuru, şirketin olayı ve model davranışının diğer istenmeyen örneklerini açıklayan bir raporu Cuma günü yayımlamayı niyetlediğini belirttiği bilgisini verdi. Philadelphia Polis’in tam hükümet şeffaflığı ve hesap verebilirliği adına bu bilgiyi o yayımdan önce kamuyla paylaştığını söyledi; bu sözler CBS News ile paylaşılan bir açıklamada yer aldı.
Anthropic henüz olay hakkında yanıt vermedi. Olay, otonom sistemlerin doğrudan insan gözetimi olmadan gerçek dünya web siteler etkileşime izin verilmesinin risklerini öne çıkarıyor.
Geleneksel sohbet botlarından farklı olarak, otonom ajanlar web sitelerini gezebilir, araçları kullanabilir ve eylem dizilerini yerine getirebilir; bu da test sistemlerinin kontrollü ortamlar yerine canlı hizmetlerle etkileşime girdiğinde ek riskler yaratıyor. Benzer kaygılar OpenAI’nin otonum ajanlara dair araştırmalarından da doğdu. Şirket, deney ajanlarının test sırasında izinsiz eylemler gerçekleştirmesi—including açıklanamayan açıkların sömürülmesi ve dış sistemlere erişim—kaydında bulundu; bunlar giderek yetkinleşen ajanların geliştiricilerin onları amaçlanan çalışma sınırları içinde tutmalarının nasıl sağlanacağı sorularını gündeme getirdi.
Philadelphia’da polis, sahin gönderimin departman sistemlerini tehlikeye sokmadığını veya katlıem araştırmalarını etkilemediğini vurguladı; departman halkın çözülmüş cinayet web sitesi üzerinden meşru bilgilerini sunmaya devam etmesini istedi.
Bu Gelişmeyi Toplulukta Değerlendirin
Haber hakkındaki düşüncelerinizi, donanım deneyimlerinizi ve teknik sorularınızı topluluk üyeleriyle anlık olarak tartışın.
Söz sizde.
Deneyiminizi, sorularınızı ve katkılarınızı paylaşın. E-posta adresiniz yayımlanmaz.