Yapay zekâ modelleri dünyadaki kültürleri anlamakta zorlanır ve bir şeyi bilmediklerinde bunu itiraf etmekten kaçınırlar. Kanada merkezli Cohere yapay zekâ laboratuvarının araştırmacıları, sohbet botlarının bir kültürün dilini konuşmaktan öte daha fazlasını yapabileceğini test ettiğinde karşılaştıkları şey buydu. Modellerin derinlemesine kültürel bilgiye sahip olup olmadığını belirlemek için onlara benzersiz kültürel bulmacalardan oluşan bir dizi sundular.
Bunlardan biri şöyleydi: “Alman 9/11’i nedir?” 28 yapay zekâ modelinden yalnızca biri cevabı biliyordu. Modeller büyük olasılıkla tarih biçiminden şaşırıyordu; yedisi “çizgi kuleler” yanıtını verdi. Avrupa’da önce gün, sonra ay gelir, dolayısıyla 9/11, Berlin Duvarı’nın düştüğü 1989 yılının 9 Kasım’ına işaret eder.
Mevcut yapay zekâ değerlendirmelerinin çoğu, günlük kahvaltı yemeklerinden tarihi olaylara ve geleneksel bayram adetlerine kadar kültürel bilgiyi ölçer. Kültürü çoğunlukla statik olguların bir koleksiyonu olarak ele alır; ezberlenebilecek ya da kısa bir web aramasıyla bulunabilecek şeyler. Ancak bir kültür hakkında bilgi sahibi olmak, o kültür içindeki insanların dünyayı nasıl anlamlandırdığını anlamakla aynı şey değildir. Araştırmacılar, modellerden birbirinden uzak görünen kültürel bilgi parçalarını birbirine bağlayıp bunları kullanmalarını isteyen bir teste ihtiyaç olduklarını biliyordu. İşte onları bulmacalara ve yaşam deneyimine dayanan yanıtlar isteyen farklı türde bir kültürel değerlendirme ölçütüne yönlendiren de bu oldu.
“Bu ölçütle yakalamaya çalıştığımız şey, bunlar küçük nüanslar, küçük ve yakalaması zor, doğrulanması o kadar kolay olmayan bulanık kavramlar… Gerçek hayatın karmaşıklığının devreye girdiği yer burası,” diyor Cohere Labs’te kıdemli araştırmacı olan ve “CulturalRiddles” ölçütünün geliştirilmesini yöneten Julia Kreutzer.
Kreutzer ve ekibi, bulmacaları toplamak, bunları yapay zekâ modellerinde denemek ve yanıtları değerlendirmek için dünya çapında gönüllülerle altı ay çalıştı. Araştırmacılar aynı zamanda, uzman değerlendirmelerinin eksik olduğu yanıtların niteliğini yargılayabilecek bir yapay zekâ modelini ayarlamak ve doğrulamak için bu uzman değerlendirmelerini kullandı.
SONUÇLAR
Google’ın Gemini 3.1 Pro Preview en yüksek puanı, 79,4%’ü aldı. OpenAI’ın GPT-5.5 ikinci olarak 76,3%’ü elde ederken, onu 66%’lik Claude Opus 4.7 Thinking izledi.
Bu Gelişmeyi Toplulukta Değerlendirin
Haber hakkındaki düşüncelerinizi, donanım deneyimlerinizi ve teknik sorularınızı topluluk üyeleriyle anlık olarak tartışın.
Bu gelişme hakkında düşüncelerinizi, donanım deneyimlerinizi veya sorularınızı Topluluk Forumumuzda paylaşın.
Foruma Katıl & Yanıtla ➔
Söz sizde.
Deneyiminizi, sorularınızı ve katkılarınızı paylaşın. E-posta adresiniz yayımlanmaz.