AI Görüntü Hakemlerini Test Ettiğimde, Farklı Bir Tuzaka Daldılar.

VisionQ adlı yeni bir ölçüt, yapay zeka modellerinden bilgisayar görünü üreten görselleri tek bir nitelik açısından değerlendirmesini istiyor; örneğin bir kenarın ne kadar keskin olduğu. Author 20 modeli bu hakem olarak denedi ve en iyisinin yalnızca %63,1 oranında doğru sonuç verdiğini buldu — yani üçte ikiden biraz az. Rastgele tahmin etsek bile %32,2 oranında isabet edileceği için, en iyi model rastgele tahminden açıkça iyi olsa da yine de üçten birinden fazlasında hata yapıyor.

towards-data-science sitesinde yayımlanan habere göre, yazarın asıl meselesi tam olarak bu açıklık: En iyi yapay zeka hakemi böylece hatalar yapıyorsa, ona güvenmeden önce kendi hakimini denemeniz gerekiyor. Bu skorların laboratuvar dışındaki yansımaları var; insanlar zaten yapay zeka asistanlarından fotoğrafları görmesini ve yanıt vermesini istiyor. İki ilaç kutusu fotoğrafı alıp etiketin tamamının görünüp görünmediğini doğrulamak, sonra aynı fotoğrafları ters sırada yükleyip tekrar sormak durumunda kalsanız, yanıt değişirse bunun etiketin okunamamasından mı yoksa görsel sıranın etkisinden mi kaynaklandığını bilmeniz gerekir.

Author, görsel sıranın model yanıtlarını etkileyip etkilemeyeceğini test etti; hangi resmin önce gösterildiğinin değişmesi yanıtı değiştiriyor mu diye bakmak istedi. Sadece resimlere bakıyorsa, yer değiştirmek seçtiği resmi değiştirmemeliydi.

Deneminin bir bölümünde Claude’a iki görsel gösterip hangisinde daha az sıkıştırma bozukluğu olduğunu sordu. Sıkıştırma bozuklukları, bir resmin küçük dosyaya sıkıştırıldığında ortaya çıkan kareli lekelerdir. Bunu 24 kez sordu ve Claude her seferinde ikinci resmi seçti. Bu ikiliğin 12’sinde ikinci resim bozuk kopyaydı, dolayısıyla Claude daha kötü resmi seçip yanlıştı; diğer 11’inde ise ikinci resim temizdi ve şans eseri 11 kez doğruydü.

Bu sonucun kendi test görsellerinden geldiğini, dolayısıyla her tür görüntü için geçerli olmayabileceğini; bir ilaç etiketinin Claude tarafından nasıl okunacağını göstermediğini vurgulayan yazar, sağlık açısından önemli her şeyde etiketin kendisine bakılması veya eczacıya sorulması gerektiği uyarısında bulunuyor.

“Hangi görsel daha iyi” dendiğinde modelin, ilgilendiğiniz ayrıntıyı değerlendirip değerlendirmediğini; yalnızca genel olarak daha güzel görünen resmi seçip seçmediğini ve ayrıntıyı sorunuzu kullanarak adlandırmak bunu düzeltiyor mu diye sordu. Bunu öğrenmek için çok daha küçük bir kendi testini kurdu.

Görsellerin özgün olduğunu, her çifti bir resmin tek bir yönünü değiştirerek oluşturduğunu ve hangi resmin kazanması gerektiğini bildiğini belirtti; VisionQ’yu yeniden üretmediği için numaralarının onun skorlarıyla karşılaştırılamayacağını ekledi. Tüm yanıtları kaydetti ve deneyleri kaydeden bir araç olan Weights & Biases’a (W&B) logladı. W&B Raporu grafikler ve tablolar içeriyor.

Author, bu denemeden sonra kişinin kendi görüntü hakemi hakkında üç şeyi kontrol eden kısa bir betikle karşılaşacağını söylüyor: Ayrıntıyı görüp görmediği; ilk ya da ikinci gösterilen resme göre seçim yapıp yapmadığı; ve boş bir yanıt uydurup uydurmadığı.

Yapay zeka görüntü hakemi, iki görsel gösterip hakkında soru sorulan bir görüş modelidir. Hangi fotoğrafın daha keskin olduğu veya hangi ürün resminin daha iyi olduğu sorulabilir. Epler bu hakemleri görüntü üreten sistemleri denetmek ve kişi her biriyle ilgilenmeden büyük resim yığınlarını sıralamak için kullanır.

İki arkadaşa bir restoranın hizmetinin nasıl olduğunu sormak gibi bir örnekle, birinin garsonların ne kadar hızlı geldiğini diğerinin dekorasyonu konuşması durumunda ikinci arkadaşın farklı bir soruya yanıt verdiğini açıklayan yazar, yapay zeka hakeminin de aynı hatayı yapıp sorunuzu yanıtlamayan görünür bir ayrıntıya odaklanıp kendinden emin bir yanıt verebileceğini belirtiyor.

Author 12 özgün görsel üretmiş: kafe tabelası, tebeşir menü, liman ve çöl yolu gibi. Hiçbirisinde logo, yüz veya kişi yok. Her görsel için beş çift kurdu ve her çift orijinalden tek bir bilinen şekilde ayrılıyor.

Dört çift sıradan: Biri orijinal, diğeri ise bulanıklaştırılmış, granlı, kareli lekeler ortaya çıkacak kadar sıkıştırılmış veya karartılmış. Orijinal, örneğin hangi resmin daha keskin olduğu gibi değiştirilen ayrıntı için her zaman doğru yanıttır. Beşinci çift ise tuzaktır: Biri solgun renkli ama keskin bir resim; diğeri canlı renkli ama bulanık bir resim. Bir hakem güzel görünen resimleri tercih ediyorsa, “hangi görsel daha iyi” sorusunda canlı ve bulanık olanı seçmelidir. Bu da 60 çift oluşturuyor.

Hakem bu iki görseli A resmi (gösterilen ilk) ve B resmi (ikinci) olarak alır ve bir harfle yanıtlar. Her çipe üç soru sorulur: İlki hangi resmin daha iyi olduğu; ikincisi ayrıntıyı adlandırır, örneğin hangi resmin keskin olduğu; üçüncüsü ise görsellerin hiçbiri eğik olmasa bile hangi resmin daha fazla eğrik olduğu ve “AYNI” cevabını (fark olmadığı anlamında) içerir.

Her soru iki kez, her görsel bir kez önce gösterilmek üzere çalıştırılır; bu da hakemin görünen şeye göre mi yoksa konumuna göre — ilk ya da ikinci — seçim yaptığını kontrol eder. Üç hakem OpenAI’den GPT-4o, Anthropic’ten Claude Sonnet 5 (bundan sonra Claude) ve Google’dan Gemini 3.1 Flash Lite (bundan_after Gemini). Her hakem 360 soruya yanıt verdi; bu da 60 çift, başına üç soru, iki sırada demek. Yani test toplamda 1.080 soru sordu.

Kendi görsellerinde bu denemi nasıl çalıştıracağını anlatan yazar, betiğin judge_test.py olarak yeni bir klasöre kaydedilmesi gerektiğini; Python 3.9 veya sonrası, numpy ve pillow paketleri ile OpenAI API anahtarının (betiğin OpenAI hizmetini kullanmasını sağlayan kod) gerekli olduğunu söylüyor.

İçinde hak sahibi olduğunuz birkaç PNG görseli, aynı klasörün içindeki images adlı bir klasöre koymanız gerekir. Betik her görsel için dört sıradan çift kurar, üç soruyu iki sırada da sorar ve dört skor yazdırır. Bu dört skor, hakemin “daha iyi” dendiğinde ve adlandırılmış ayrıntı dindiğinde doğru resmi ne kadar sık seçtiğini gösterir; aynı zamanda her iki sırada da aynı harfi ne kadar sık verdiğini ve eğrik sorusunda ne kadar sık yanıt uydurduğunu ortaya koyar. Bu betik yalnızca bir hakem, GPT-4o test eder, dolayısıyla yazarın yaptığı deneyin küçük bir sürümüdür; tam deney ayrıca Claude, Gemini ve tuzak çiftlerini de içerir.

Kendi bulduğu çıktını iki görsel — kafe tabelası ve liman — üzerinde çalıştırırken gösterdi. 48 soruluk bu küçük koşunun yüzde değerlerinin betiğin işe yaradığını gösteren bir kontrol olduğunu, sonuç olmadığını vurguladı; tam deney aşağıda tüm 12 görseli kullanıyor.

Hakemlerin neyi doğru yaptığına dair yazar, çiftlere yerleştirdiği neredeyse her şeyi başardıklarını belirtiyor. Sıradan çiplerde GPT-4o “daha iyi” sorularının %97,9’unda ve tüm adlandırılmış sorularda doğru resmi seçti; Gemini her iki tür soruda da her zaman doğruydu. Claude 92,7 ve 86,5 puan aldı.

Her sayı bir yüzdür; son üç satır hariç yüksek olmak ister, orada düşük olmak ister. İlk iki satır sıradan çiplerdeki 96 sorudan, tuzak satırları ise başına 24 sorudan gelir. Eğrik satırı 120 sorudan gelir. Aynı harf satırı her çift için iki sırayı karşılaştırır ve doğru cevap içeren her iki soru türü için de geçerlidir.

Tuzak işe yamadı. Hiçbir hakem canlı ve bulanık resmi tercih etmedi, yalnızca “hangi görsel daha iyi” sorusu sorulduğunda bile. Bu tür kontrollü farklar için ayrıntıyı adlandırmak yanıtları değiştirmedi; hakemler zaten doğru şeye bakıyordu.

Karşı sonuca umduğunu ve bunu açıkça belirtmesi gerektiğini belirten yazar, güzeli tercih etme alışkanlığını yakalamak için tuzak kurduğunu ama hiçbirini bulamadığını söyledi. Bu test, birden fazla şekilde aynı anda fark eden iki gerçek fotoğraf gibi daha zor durumlar hakkında hiçbir şey söylemiyor.

Neden bir hakemin hiçbir şey farklı olmadığında bir resim seçtiğini açıklamaya çalışan yazar, her görsel çifti için her hakeme hangi resmin daha eğrik olduğunu sordu. Eğriyi seçmesinin nedeni, yaptığı değişikliklerin hiçbirisinin resmi dikmediği için hiçbir resmin diğerinden daha eğrik olmamasıydı; doğru yanıt AYNI’ydı.

GPT-4o yine 120 yanıtsının 87’sinde bir resim seçti, bu da 60 çiftin iki sırasından gelmekle %72,5 eder. Claude biri 21 yanıtta, Gemini ise 34ünüde bir resim seçti. Bu yanıtlarda modeller, görseller sorulan ayrıntıda farklı olmadığında A veya B’yi seçti.

Sıkıştırma çiplerinin 12’sinde GPT-4o tüm 24 yanıtın birinde bir resim seçti. Bazen tam cümle yazdı, örneğin “A resmi daha eğrik”. Uydurduğu yanıtlar yine kendinden emin ses çıkarıyordu ve bu sorunu kaçırmak kolaydı.

Bu çiplerde bir resmin diğerinden daha bulanık, granlı veya karanlık olduğu, ama eğrinin aynı olduğu durumda, bir hakemin yine de birini seçseydi bunun yanlış sayılması gerektiğini mi sorduğunu belirten yazar, yalnızca bu soruda SAME’ye izin verdiğini ve yanıtın GPT-4o’nun numarasının ne kadar kötü göründüğünü belirlediğini söylüyor.

Claude’un sıkıştırma sorusunda neden başarısız olduğunu açıklayan yazar, her bulanıklık, granlı ve düşük ışık sorusunu doğru yaptığını; sıkıştırmada ise 24 sorunun yalnızca 11’inde doğru olduğunu belirtti. Bu, bir madeni para çevirmekle elde edilecek seviyeye yakındı. Sorun Claude’un görselleri görmemesi değildi.

“Hangisinde daha az sıkıştırma bozukluğu var” dendiğinde Claude, 24 yanıttan 23’ünde B — ikinci resim — diye yanıt verdi; temiz ya da sıkıştırılmış kopya ikinci gösterilsin. Dolayısıyla Claude bu soruda sıkıştırmayı değerlendirmiyordu; ikinci resme yanaşıyordu.

Her iki sırada da sormanın önemli olduğunu vurgulayan yazar, yalnızca bir sırayla Claude’un neredeyse her zaman yanlış ya da her doğru olması gerektiğini söyledi; temiz resim önce geldiğinde 12’den 0 kez, ikinci geldiğinde ise 12’den 11 kez doğruydu. Yalnızca ikinci sıra, yanıtın konuma göre değil resme göre izlendiğini gösterdi.

Articles Weights & Biases’ta nasıl ortaya çıkıyor? sorusuna yazar, W&B’de her kaydedilen deneme bir run olarak adlandırıldığını ve W&B Raporunun her hakem için bir run ile karşılaştırma tablosu içerdiğini açıkladı. Her hakemin run’u ayrıca tüm yanıtları içeriyor, böylece Claude’un B diye yanıt verdiği 23 yanıta filtreleyebilirsiniz.

Loglamanın 1.080 sorunun tamamı yanıtlandıktan sonra kaydedilmiş dosyalardan yapıldığını, dolayısıyla olanları kaydettiğini ama değiştirmediğini belirtti. Loglama betiği isteğe bağlıdır ve üstteki denem W&B hesabı olmadan çalışır.

Kendi testinin VisionQ ile uyup uymadığına dair yazar, iki şey bekleyerek başladığını söyledi: VisionQ’nun en iyi yapay zeka hakeminin yalnızca %63,1 oranında doğru olduğunu göstermesi, dolayısıyla hakemlerin güvenilir olmayacağını beklediği; ve soru keskinlik gibi bir şey hakkında olduğunda güzeli tercih edecekleri.

Testi kısmen uydu ama kısmen uymadı. Basit çiplerinde hakemler VisionQ’nun en iyi skorundan çok daha iyi yaptı. GPT-4o ve Gemini ayrıntı adlandırıldığında her zaman doğruydu, Claude ise %86,5’te doğruydü. Hiçbiri güzeli tercih etmedi. Bu VisionQ’yu çürütmez çünkü farkları kolaydı ve kendi ürettiği için; VisionQ araştırma makalelerinden gerçek veriler kullanıyor.

İki başka sorunu beklemediğini söyledi: GPT-4o eğrik açısından farklı olmadığında yanıtların %72,5’inde bir resim seçti ve her seferinde kendinden emin ses çıkarıyordu; Claude ise sıkıştırmada hangi resim olursa olsun 24 yanıttan 23’ünde B — ikinci resim — diye yanıt verdi. Yani hakemler baktığı yerde değil, bakmadığı iki yerde başarısız oldu. İşte kendi hakimini kendi yönteminle test etmenin nedeni bu.

Testin neyi dışarıda bıraktığını açıklayan yazar, küçüklüğü ve yapaylığı öne çıkardı: 12 görüntü üreticisiyle üretilmiş 60 çift var ve her çift tek bir kontrollü değişiklikle ayrılıyor; gerçek fotoğraflar birden fazla şekilde aynı ayrıyor ve hakemler orada daha kötü yapabiliri.

Gemini’nin küçük model olduğunu, Google’ın ana modelinin deneme sırasında ücretsiz kotaları tükendiği için burada Gemini’nin 3.1 Flash Lite anlamına geldiğini; bunun diğer ikisinden küçük ve ucuz olduğu için skorlarının Google’ın en iyi modeli hakkında daha az şey söylediğini açıkladı.

Rastlantısallık ayarının, GPT-4o ve Gemini’nin yanıtları mümkün olduğunca sabit tutan sıcaklık olarak adlandırılan rastlantısllık ayarını 0’da çalıştırdığını; Claude’un bu ayarı kabul etmediği için varsayılan değerinde çalıştığını belirtti.

Yalnızca eğrik sorusunun SAME’ye izin verdiğini, her soruda sunulmasının numaraları değiştireceğini söyledi. Her soru için tek bir prompt — hakeme gönderilen tam sözler — kullandığını; farklı bir betimlemenin bir hakemin alışkanlıklarını, özellikle Claude’un sıkıştırmadaki alışkanlığını değiştirebileceğini belirtti.

VisionQ’nun gössellerini çalıştırmadığı için bu hakemlerin onda nasıl skor yapacağını söyleyemediğini ve bunların denemin yapıldığı gün mevcut olan modeller olduğunu ekledi.

Çıkarılması gerekenler konusunda yazar, örnek üzerinde görsel sırayı kontrol etmeyi öneriyor: Görseller yer değiştirilerek aynı soru sorulmalı; yanıt sürekli olarak ilk veya ikinci konumu izliyorsa, hakemin resme göre değil konuma göre tepki vermiş olması mümkündür. Deneminde Claude, sıkıştıma sorusundaki 24 yanıttan 23’ünde ikinci resmi seçti.

Hakemin kendisinin bilemeyeceğini söyleyebileceğini kontrol etmeyi öneriyor: Sorulan nitelikte aynı olan bir çift kullanın ve SAME cevabına izin verin. Deneminde hiçbir resim daha eğrik değildi ama GPT-4o yine bu yanıtların %72,5’inde birini seçti. Bu testten gelen bir uyarıdır, her gerçek görevde yanıt uyduracağı kanısı değil.

Göreviniz için önemli olan alışkanlığı test etmeyi öneriyor: Hakemlerin canlı ve bulanık resmi, solgun ve keskin olandan seçeceğini beklediğini; üretilmiş görsel çiplerinde hiçbirinin bunu yapmadığını; bu sonucun gerçek fotoğrafları nasıl değerlendireceklerini göstermediği için kendi çalışmalarınızdan örnekler test etmeniz gerektiğini söyledi.

Tuzaklanan görsel hakemleri kandıramadı. Hiçbiri renkli, bulanık resmi seçmedi. Claude farklı bir tuzaka daldı; sürekli olarak ikinci gelen resimi seçti. İşte her iki görsel sırasını da test etmenin yararlı olmasının nedeni bu.

Ürün fotoğraflarını sıralamak, üretilmiş gösselleri karşılaştırmak veya görüntü niteliğine dayalı başka bir karar vermek için yapay zeka hakemine güvenmeden önce bu kontrolleri örnek üzerinde kullanmanız gerektiğini belirtti. Sonuçları 12 üretilmiş görselden yapılan 60 basit çipten geldiği için, bunun neyi test edeceğini gösterdiğini ama tüm görüntü hakemlerinin nasıl davrandığını olmadığını söyledi.

Sırada ne denenmeli sorusuna yazar, betiğin kendi çalışmalarından on görsel üzerinde çalıştırılması gerektiğini; ilgilendiğiniz niteliği test eden çipler kurması, her çifti iki sırada da göstermesi ve aynı nitelikte bir çift dahil etmesi gerektiğini söyledi. Hakemin resme göre izleyip izlemediğini, fark olduğunda fark edip etmediğini ve görevinizi etkileyebilecek bir alışkanlıktan kaçınıp kaçınmadığını kontrol edin.

VisionQ — Vu Dinh Xuan, Duc-Hai Nguyen ve meslektaşları. arXiv, 30 Eylül 2026. 20 hakem, %63,1 en iyi skor ve %32,2 şans seviyesi için kaynak. CC BY 4.0 lisanslı, bu atıfla yeniden kullanım izni veriyor.

VisionQ repository — ReML-AI. Kod MIT altında, açıklamalar CC BY 4.0 altında ve figür kırpmaları ticari olmayan araştırma kullanımıyla sınırlıdır. Bu makalede VisionQ gösselleri görünmüyor.

Track experiments — Weights & Biases. Runları loglamak ve raporu oluşturmak için W&B belgeleri.