Google’ın Yapay Zekâ Arama Özetlerinde Gerçek Iddiaların Yüzde 10’dan Fazlası Kaynakça ile Desteklenmiyor: Çalışma.

Google‘ın yapay zekâ tarafından üretilen arama özetleri sık sık son derece güvenilir kaynaklara dayanıyor olsa da, yaklaşık her dokuz olgusal iddanden birinde doğrulanmamış bilgi üretiyor. Yeni ve kapsamlı bir analiz, bu özetlerin geleneksel arama sıralamalarını nasıl atladığını ve kullanıcıların bilgi edinme ile web yayıncılarının para kazanma biçimlerini nasıl temelden değiştirdiğini ortaya koyuyor. Araştırma, ön baskı sunucusu arXiv’de yayımlandı.

Kullanıcı bir sorguyu Google’a yazdığında, geleneksel olarak web sayfalarının sıralanmış bir listesi alıyor. Son dönemde şirket, AI Overviews özelliğini devreye aldı. Bu sistem birden fazla okur ve kullanıcının isteğine yanıt veren tek bir özelleştirilmiş paragraf yazar; bu metni arama sonuçlarının tam tepesine yerleştirir.

Yeni özellik, çevrimiçi bilgi erişiminde kapsamlı bir değişimi temsil ediyor. Şu anda milyarlarca kişi bu makine tarafından üretilen yanıtlarla karşılaşıyor ve çoğu zaman bir yapay zekâ aracını kullanmayı bilinçli olarak seçmiyor. Google’ın arama pazarındaki baskın konumu nedeniyle, yazılımının kaynakları seçme ve olguları sentezleme biçimi, küresel ölçekte bilgi ekosistemini şekillendiriyor.

Haofei Xu, Umar Iqbal ve Jacob M. Montgomery, St. Louis’teki Washington Üniversitesi’nde çalışan bilgisayar bilimcileri, bu sistemin kapsamlı bir değerlendirmesini gerçekleştirdi. Özelliğin ne zaman devreye girdiğini, bilgiyi nereden aldığını, bu kaynakları ne kadar doğru özetlediğini ve bilgiyi ilk yayınlayan web sitelerini nasıl etkilediğini anlamak istediler.

AI Overviews sistemi, büyük bir dil modeli üzerine kurulu. Bu, insan benzeri cümleleri tahmin edip üretmek için devasa miktarlarda metin üzerinde eğitilen bir yapay zekâ türü. Yalnızca kendi iç eğitim verisine tamamen dayanan ayrı sohbet botlarından farklı olarak, Google’ın sistemi yanıtları belirli, geri getirilen web sayfalarına bağlayacak şekilde tasarlandı. Bu mimari, yapay zekânın sahte bilgiler uydurduğu yaygın bir sorun olan halüsinasyonları azaltmayı hedefliyor.

2026’nın başlarında 40 günlük bir dönemde araştırma ekibi, otomatik bir web gezinme programı kullanarak 55.393 trend Google sorgusunu çalıştırdı. Programı bulut sunucularına dağıttılar ve bot tespitinden kaçınmak için doğal insan yazımını taklit edecek şekilde programladılar. Bu aramaları sağlık, spor ve politika gibi 19 farklı konu kategorisine yaydılar. Ekip, bir AI Görünümünün (AI Overview) görünüp görünmediğini, içerdiği metni ve hangi dış siteleri kaynak gösterdiğini kaydetti.

Araştırmacılar, AI Overviews’ın tüm sorguların %13,7’sinde etkinleştiğini buldu. Kullanıcının soru biçimlendirme yapısı bu oranı büyük ölçüde etkiledi. Bir arama doğrudan bir soru olarak ifade edildiğinde sistem, oluşturulan özetleri her zaman %64,7 oranında sundu; bu oran sıradan anahtar kelime aramalarında yalnızca %9,5’e düştü.

Etkinleşme oranı konuya göre de büyük ölçüde değişti. Özellik hobi ve bilim sorgularında sık, politikanın hassas olduğu konularda ise nadiren ortaya çıktı. Araştırmacılar, bu farklılıkların Google’ın yapay zekâ aracını ne zaman devre dışı bıraktığını belirlerken gizli bir editörel takdir yetkisi kullandığını düşündürdüğünü belirtti.

Ardından ekip, sistemin yanıtlarını oluştururken kullandığı siteleri değerlendirdi. Kaynak olarak gösterilen bu sitelerin güvenilirliğini, aynı arama sayfasının alt kısımlarında görünen sıradan web sayfalarıyla karşılaştırdılar. Bunu gerçekleştirmek için, binlerce internet alan adının gazetecilik ve bilgilendirme kalitesini derecelendiren yerleşik bir akademik puanlama ölçütünü kullandılar.

AI Overviews’ın kaynak olarak gösterdiği alan adları, sıradan ilk sayfa arama sonuçlarına kıyasla tutarlı biçimde daha güvenilir çıktı. Üretken sistem, sosyal medya gönderileri ve video platformları gibi önereyden geçirilmemiş kullanıcı kaynaklı içeriğe, geleneksel Google arama sıralamalarına göre çok daha az güvendi.

Bir yandan da AI Overviews’ın kaynak olarak gösterdiği sitelerin neredeyse %30’u, düzenli arama sonuçlarının ilk sayfasında hiçbir yerde görünmüyordu. Bu, üretken sistemin bilgi edinmek için ayrı bir seçim süreci kullandığını gösteriyor. Aynı soru için geleneksel arama algoritmasının ortaya çıkardığından farklı siteleri öne çıkarıyor.

Yazılımın kaynaklarının ne dediğini doğru şekilde raporlayıp raporlamadığını test etmek için araştırmacılar bu özetleri 98.020 bireysel olgu iddiasına böldü. Ayrı bir büyük dil modelinden beslenen otomatik bir doğrulama hattı kurup kaynak sitelerinin metnini okudular. Program ardından her üretilen iddianın gerçekten kaynak materyalle desteklenip desteklenmediğini kontrol etti.

Analiz, üretilen iddiaların %11’inin kaynak sayfalar tarafından desteklenmediğini gösterdi. Bu hataların çoğu eksiklikti; yani özet, bağlantı verdiği kaynakta hiç bulunmayan bir olguyu belirtiyordu. Daha az sayıda durumda ise üretilen iddia, kendi kaynak metniyle doğrudan çelişti.

Araştırmacılar, daha kaliteli kaynakların kullanmanın bu hata oranını düzeltmediğini buldu. Bir web sitesinin güvenilirliği ile sistemin içeriği doğru şekilde özetleyip özetelemesi arasında istatistiksel bir ilişki yoktu. Desteklenmeyen iddia oranı ayrıca konuya göre değişiyordu; sağlık ve siyasi özetler, eğlence veya teknoloji konusundaki özetlerden daha yüksek doğruluk gösterdi.

Son olarak ekip, üretilen yanıtları besleyen yayıncıların ekonomik gerçekliğine baktı. Kaynak sitelerinin bilgisayar kodlarını analiz edip gelir elde etmek için reklam gösterimine (display advertising) ne kadarının güvendiğini saydılar.

AI Overviews tarafından kaynak olarak gösterilen sayfaların yarısından fazlası dijital reklâm içeriyordu. Bir sentez özet, kullanıcının sorusuna arama sayfasında doğrudan yanıt verdiğinde, kullanıcı orijinal web sitesine tıklama eğilimi daha az gösterir. Araştırmacılar, baskılanan bir tıklamanın orijinal bilgiyi üreten yayıncı için reklam geliri kaybına yol açtığını belirtti.

Çalışma, bu ekonomik düzenlemeye özgü bir asimetriye dikkat çekti. Orijinal yayıncılar sahip oldukları web trafiğini kaybederken, Google kendi sponsorlu arama reklâmlarını doğrudan üretilen özetlerin yanında göstermeye devam ediyor. Bazı durumlarda Google kendi reklâmlarını AI Overview’ın üstüne yerleştiriyor.

Otomatik yapının getirdiği bazı sınırlamalar bulunuyor. Üretilen iddiaların doğruluğunu analiz ederken araştırmacılar, canlı güncellenen sorguların veri setlerinde hatalı sonuçlar oluşturduğunu tespit etti. Örneğin, bir özette güncel sıcaklığa yer verilmişse, alıntıladığı hava durumu web sitesinin veri güncellemesi araştırmacıların otomatik programının sayfayı okumasına kadar gerçekleşmiş olabilir. Bu zaman farkı, iddiayı sahte biçimde hatalı olarak işaretleyecektir.

Ayrıca araştırmacılar, doğrulama kontrollerinden kullanıcı kimlik doğrulaması gerektiren veya otomatik veri kazımını engelleyen web sitelerini—büyük sosyal medya platformları gibi—dışladı. Bu özel sayfaların metnini okuyamadıkları için, desteklenmeyen iddiaların bir bölümü aslında toplanmayan veriye dayanıyor olabilir.

Gelecek araştırmalar, kullanıcıların bu arama özetleriyle gerçekten nasıl etkileşimde bulunduğunu ölçmek zorundadır. Bu çalışma, yazılımın ne ürettiğini ve neyi alıtladığını ortaya koyarken, kullanıcıların alıntı hatalarını fark edip etmediği ya da özetlerin yüksek riskli konularda inançları değiştirip değiştirmediği hâlâ bilinmemektedir. Bu özelliklerin insan davranışlarını nasıl değiştirdiğini anlamak, farklı demografik gruplardaki internet kullanıcılarının doğrudan gözlemlenmesini gerektirecektir.

“Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact” başlıklı çalışma, Haofei Xu, Umar Iqbal ve Jacob M. Montgomery tarafından yazıldı.