Yapay zeka sektöründe varoluşsal tehdit tartışması, Anthropic‘in yapay zeka uyumundan sorumlu araştırmacısı Jacob Coxon’un şirketten istifa etmesiyle yeniden alevlendi. Genç araştırmacı, önde gelen yapay zeka firmalarının hayatlarla “kumar oynadığını” belirterek ayrıldığını açıklarken, Anthropic’in uyum lideri paylaştığı bir mesajda “İnsanlığın tamamını öldürebiliriz konusunda gerçekten de samimiyiz” ifadesini kullandı ve bu ihtimalin on yıl içinde %10’dan yüksek olduğunu öne sürdü. Bu tartışma, Anthropic’in halka arzı için hazırladığı S-1 başvurusuna yaklaşırken TechCrunch’ın Equity podcastinde de ele alındı.
Konuya yön veren Coxon’un istifası, daha önce OpenAI‘da da görev almış genç araştırmacının mesleki yolculuğunu sözleriyle örtüşecek şekilde şekillendirmesiyle dikkat çekti. Anthropic’in uyum lideri paylaştığı mesajda “We really do earnestly believe AI could kill all humans!” ifadesini, ünlem işaretiyle birlikte kullanması tartışmayı daha da yaklaştırdı. Sean O’Kane bu durumu “belki de en iyi yanlış konumlandırılmış ünlem işaretinden biri” olarak nitelendirirken, Anthony Ha ise ünlem işaretinin aslında hak edilmiş bir tepki olduğunu savunarak görüş ayrılığını ortaya koydu.
“Biz” Kelimesi ve Atılan Yüzdelik Oranlar
Araştırmacıların tartışmasında öne çıkan temel eleştiriler, ifadelerin kapsadığı “biz” kavramının netliğine ve atılan yüzdelik oranların dayanağına yöneldi. Anthony Ha, “%10’dan yüksek ihtimal” ifadesinin rastgele seçilmiş bir sayı olduğunu ve hiçbir hesaplamaya dayanmadığını vurguladı. Teknoloji sektöründe bu tür yüzdelerin bazen herhangi bir temele oturtulmadan atıldığı alışkanlığının da söz konusu olduğunu belirten Ha, tweetin muhtemelen “P(doom)” yani felaket olasılığı kavramına gönderme yaptığını ancak yine de bunu abartılı bulduğunu söyledi.
Bu yüzdelerin bazılarının hiçbir temeli olmadığını görüyorum. Teknoloji sektöründe ve başka yerlerde bu tür yüzdelik oranların atıldığı bir alışkanlık var, bunlar hiçbir şeye dayanmıyor ya da hiçbir hesaplamaya göre belirlenmiyor.
Anthony Ha
Konuya katılan Kirsten Korosec ise Coxon’u diğer uyarıcıların ayrı bir kampa koyduğunu belirtti. Ona göre bu araştırmacının, gerçekten bir inanca sahip olduğunu göstermesi açısından farklı bir konumda durması önemli.
İkna Edilme Stratejisi mi, Gerçek Endişe mi?
Tartışmanın merkezinde yer alan soru, bu uyarıların samimi bir endişeyle mi yoksa şirketlerin model yeteneklerini göstermek için bir “flex” olarak mı üretildiği yönündeydi. Korosec’in sorduğu soruya göre, bazı blog yazılarının ve risk uyarılarının ardında yatan muhtemel amaç, kendi şirketinin yapay zeka modellerinin ne kadar ileri geldiğini göstermektir.
Bu yaklaşımın tamamen cinayet niyeti taşımadığına dair bir görüş de ortaya kondu. Ha, araştırmacıların ve CEO’ların gerçekten endişe duyduklarını ancak bu söylemin aynı zamanda ticari çıkarlarıyla örtüştiğini belirtti. Kişisel düzeyde, üzerinde çalışılan şeyin dünyadaki en önemli ve en tehlikeli iş olduğunu düşünmek isteyen bir eğilimin de mevcut olduğu öne sürüldü.
Bu modeller yeterince ileri gelmeseydi, yeterince yetenekli olmasaydılar ya da sınırlarını aşmasalardı, bu tür şeylerle uğraşmamamız gerekirdi. Bu, kendi şirketinizde geliştirdiğiniz modellerin yeteneklerini övmenin çok garip bir yolu.
Kirsten Korosec
O’Kane ise OpenAI’nın iç ajanlarının farklı wiki’lere erişmesi ve birbirlerine mesaj bırakması gibi raporlamaların, hikayenin yeterince pürüzsüz anlatılmadığı bir durum olduğunu vurguladı. Bu tür olayların sıkça yaşanması, şirketlerin bu konuyu belirli bir şekilde ele alamadıkları izlenimini veriyor.
S-1 Başvurusu ve Değerlendirme Üzerine Etkisi
Tartışmanın en dikkat çeken boyutu, Anthropic’in halka arzı için hazırlanan S-1 başvurusuna yaklaşmasıyla ortaya çıktı. O’Kane, junior avukatların bu bölümü yeniden yazarak “Resmi olarak Anthropic’in konumu, insanlığı yok etme ihtimalinin %10’dan yüksek olması ve işimiz için maddi bir zarar oluşturmasıdır” şeklinde ifadelendirmeleri gerekip gerekmediğini sorguladı.
Korosec, geleneksel yatırım ortamında bu tür ifadelerin şirket değerlemesini olumsuz etkileyeceğini ancak günümüzün olağan dışı koşullarında bunun tersi de mümkün olduğunu söyledi. Güç, yetenek ve hatta tehlike unsurlarının yüksek değerlemeyle eşleştiği bir evrende, bu durumun şirkete faydalı bir “flex” olarak işleyebileceğine dair bir spekülasyon yapıldı.
Geleneksel yatırım ortamında biri bu tür ifadelerin şirket değerlemesini aniden tehlikeli kıldığı için olumsuz etkileyeceğini düşünürdü. Ancak biz olağan zamanlarda yaşamıyoruz.
Kirsten Korosec
Kontrol Mekanizmaları ve Acil Tehditler
Tartışmanın son bölümünde, bu tehlikeli yönlerin nasıl kontrol edileceğine dair sorular öne çıktı. KontrolAI adlı bir kar amacı gütmeyen kuruluşun ABD yöneticisi Connor Leahy’nin konuya katıldığı hatırlatıldı. Ha ise kendi şüpheci tutumunu, doomer anlatısının “sonraki on yıl içinde insanlığı yok edebilir” düzeyinde histeriye ulaşmasıyla ilişkilendirdi.
Araştırmacıların görüşüne göre bu varoluşsal tehdit söylemi, yapay zekanın işgücü, çevre ve iklim gibi daha acil zararlarına dikkati dağıtan bir etki yaratıyor. İdeal olarak tüm bu konuların tartışılması ve buna yönelik düzenleyici korumaların sağlanması gerektiği vurgulansa da AGI ve süperzekâllık gibi ifadelerin odağı ele alması açısından faydasız olduğu öne sürüldü.
Konuya katkıda bulunanlar, büyük yapay zeka şirketlerinin artık bu modeller üzerinde tam kontrolünü yitirdikleri hissine sahip olduklarını da paylaştı. Bu durumun herkesin endişe etmesi gereken bir konu olduğuna dair ortak bir görüş ortaya kondu. Tartışma, Anthropic’in S-1 başvurusunun açıklanmasını ve potansiyel halka arzın gerçekleşmesini beklerken sürüyor.
Bu Gelişmeyi Toplulukta Değerlendirin
Haber hakkındaki düşüncelerinizi, donanım deneyimlerinizi ve teknik sorularınızı topluluk üyeleriyle anlık olarak tartışın.
Bir yanıt yazın