Ana sayfa→Yapay Zekâ
Yapay Zekâ

Kasteten Bir Tarayıcı Ajanını Çökerttim: Hatayı Tespit Etmek Onu Dzeltmek Anlamına Gelmeyebilir.

Dört bozuk tarayıcı eylemini doğru model kararlarıyla tekrar oynattım. Basit bir sayfa kontrolü, yanlış tıklamaların yarısını kaçırdı ve gömülü bir sayfa…

User Avatar
Ahmet AvcıEditör
13 dk okuma

Agentic AI

Dört bozuk tarayıcı eylemini doğru model kararlarıyla tekrar oynattım. Basit bir sayfa kontrolü, yanlış tıklamaların yarısını kaçırdı ve gömülü bir sayfa içinde çalışan her tıklamada yanlış alarm verdi.

Bar chart for four injected browser faults. A check caught every fault, shown as four bars at 100. Task completion after the fault is 0 for the wrong search text and the wrong click position, and 100 for the false frame message and the missing tooltip.

Claude Haiku 5.5 için sonuç kontrol sonuçları. Yakalanan hata, hata başına 40 yerleşim üzerinden, 100’e ölçeklendirildi. Tamamlanan görev, 60 bölüm üzerinden, 100’e ölçeklendirildi. Son iki hata, kontrol olmadan bile görevi durdurmadı. Grafik yazar tarafından hazırlandı.

SayarBilgi sitesini Google’da tercih edilen kaynak olarak seç

Bir tarayıcı ajanına enjekte edilen dört hata. Bir kontrol her hatayı yakaladı, ancak ajan yanlış arama metni veya yanlış tıklama konumuyla görevlerin hiçbirini tamamlamadı.

Jiangang Han imzalı WebFovea adlı makale, rahatsız edici bir tarayıcı ajanı hatasını raporluyor. Ekran görüntüsü ile tarayıcı koordinatları arasındaki uyumsuzluk, tıklamaları kastedildikleri konumun dörtte üçüne yerleştiriyordu. 400 piksel genişliğinde bir noktaya yönelik bir tıklama, 300 piksel genişliğinde bir yere isabet etti.

Bu uyumsuzluk, modelin ekran görüntüsüne bakmadan önce her ekran görüntüsünü küçelten model hizmetinden kaynaklandı. Makale, 1920 by 1080 boyutunda bir ekran görüntüsünün modele yaklaşık 1440 by 810 olarak ulaştığını, bunun da boyutun dörtte üçü olduğunu tahmin ediyor. Anthropic’in görsel dokümantasyonu, kendi modelleri için aynı davranışı tanımlıyor. Büyük görüntülerin maliyetlerini sınırlamak için küçeltildiğini ve modelin yeniden boyutlandırılmış resimdeki konumlarda yanıt verdiğini söylüyor. Makalenin yazılımı bu konumları, tam boyutlu ekranda ölçülmüş gibi kullandı, böylece her tıklama kastedildigi yerin dörtte üçüne isabet etti.

Makalenin ajanı bir tarayıcı ajanıdır; yapay zekâ modelinin bir web sayfasını inceleyip düğme tıklamak gibi eylemleri seçmesini sağlayan bir program. Koordinatlar, yukarıdaki tıklama örneğindeki sayılar, piksel cinsinden verilen ekran konumlarıdır.

Tıklama hatasının yanı sıra WebFovea, model ile sayfa arasındaki yazılımda iki hata daha raporluyor. Modelden gelen gizli mesaj sonu işaretleri arama kutularına yazıldı. Bir sayfanın içine gömülü başka bir sayfa içindeki bir tıklama çalıştı, ancak etkisiz olduğu bildirildi.

Makale, 2026 canlı siteler yarışmasına sunulan dört başvuruda böyle hataları düzeltmişti. Model aynı kalırken ajanın puanı 100 üzerinden 31,0’dan 57,0’a yükseldi. Her başvuru birkaç değişikliği bir arada içeriyordu ve canlı siteler değişebilir, bu yüzden yalnızca puan hangi düzeltmenin en önemli olduğunu göstermiyor. Tam da bu açığı küçük ölçekte incelemeye çalıştım.

Bu açığı incelemek için, model doğru kararı verdikten sonra ne olduğunu test ettim. Dört kısa görevden oluşan küçük bir tarayıcı sitesi kurdum; bunlar bir kaydı arama ve bir düğmeye tıklama gibi işlerdi. Claude Haiku 5.5’ten, Anthropic’in küçük ve ucuz modellerinden birinden bu görevleri tamamlamasını istedim.

Çalışan 80 kararını kaydettim, sonra her birini bilinçli olarak bozduğum tarayıcı kodu üzerinden tekrar çalıştırdım. Bir denetim, bir işlem sonrası sayfaya bakıp işlemin çalışıp çalışmadığını belirleyen küçük bir kod parçasıdır. Denetimin hatayı fark edip etmediğini ve ajanın—yani tarayıcıyı yönlendiren kodla birlikte modelin—görevi tamamlamayı başarıp başaramadığını ölçtüm.

Hata ayırt etmek ile onun üstesinden gelmek farklı sorunlar çıktı. Bu hatalar, bir yapay zekâ aracına bir site üzerinden tıklamaları isteyen herkes için önemli; buna web geliştiricileri ve siteleri bir yapay zekâ aracına tarif ederek kuranlar dahil. WebFovea makalesi ve kodu kurulumumu tetikledi. Aşağıdaki sonuçlar kendi tarayıcı sayfalarımdan ve adım adım kaydedilen günlüklerden geliyor.

Kod, adım günlükleri, rakamlar ve kayıt halka açık. İlk testte her sayfanın 40 sürümü üzerinde denetimleri çalıştırdım ve son ajan koşuları aşağıdaki sayıları destekliyor.

Bir doğru karar, iki farklı tıklama

Kaydettiğim 80 karardan biri sorunu açıkça gösteriyor. Test sayfası, 0’dan 24’e numaralandırılmış düğmelerden oluşan bir ızgara gösteriyordu. Ajan, bundan 900 piksel genişliğinde bir ekran görüntüsü gördü ve Item 15’e tıklaması istendi. Cevabı (150, 413) noktasıydı; bu, sol üst köşeden 150 piksel sağa ve 413 piksel aşağı anlamına geliyor. Tarayıcının görünür alanı olan görüntü alanı (viewport) 1200 piksel genişliğindeydi.

Yanıtı kağıttaki sorunu kopyalamak için ekran görüntüsünü bilinçli olarak küçülttüm. Bu, eylemi tarayıcıya gönderen kod olan yürütücünün her görüntü koordinatını tarayıcı boyutuna ölçeklendirmesi gerektiği anlamına gelir. Burada tarayıcı 1200 piksel genişliğinde ve görüntü 900, böylece ölçek dörtte üçtür. Çalışan yürütücü 150’yi dörtte üçle çarparak 200, 413’ü dörtte üçle çarparak ise 550,67 buldu. Tarayıcı piksellerinde (200, 550,67) tıkladı ve 15. öğeyi seçti.

Bozuk yürütücü bu ölçeklendirmeyi atladı ve (150, 413) değerini doğrudan tarayıcı pikselleri olarak gönderdi. Bu nokta 15. öğenin bir üst satırındaki 10. öğeye denk geldi, böylece 10. öğe seçildi. Modelin yanıtını kaydettim ve onu iki kez çalıştırdım, her iki yürütücü üzerinden bir kez. Ekran görüntüsü, talimatı ve kaydedilen yanıt her iki kez de aynıydı.

Aşağıdaki kod genel dönüşümü gösteriyor. Bu deneyde her iki görüntü boyutu da eşleşen tarayıcı boyutlarının dörtte üçüydü, böylece her koordinat dörtte üçle çarpıldı.

python

browser_x

=

image_x

viewport_width

/

image_width

browser_y

=

image_y

viewport_height

/

image_height

Two screenshots of the same recorded click show Item 15 selected with correct conversion and Item 10 selected with faulty conversion.

page.mouse.click(browser_x, browser_y)

Tıklama kendisi, kodun bir tarayıcıyı kontrol etmesini sağlayan Playwright’tan gelir. Fare belgeleri bir tıklama için tarayıcı görünüm piksellerini belirtir. Dönüşüm, modelin yanıtı ile tarayıcı arasındaki adım olan yürütücüye aittir. 900 by 600 görüntüm ve 1200 by 800 görünümüm, WebFovea’daki dörtte üç hatasının oranlarını takip ediyor. Bu, canlı sitelerden ikinci bir gözlem değil, sitemdeki kurgusal bir örnektir.

Şekil 1. Yazarın görüntüsü. Her iki kare de aynı kaydedilen kararla, test sayfasının bir sürümünün sürekli kaydından gelir. Yeşil daire 15. öğeye yapılan çalışan tıklamayı, kırmızı daire ise 10. öğeye yapılan bozuk tıklamayı işaret eder.

Şekil 1. Yazarın görüntüsü. Her iki kare de aynı kaydedilen kararla, test sayfasının bir sürümünün sürekli kaydından gelir. Yeşil daire 15. öğeye yapılan çalışan tıklamayı, kırmızı daire ise 10. öğeye yapılan bozuk tıklamayı işaret eder.

Sürekli tarayıcı kaydını veya kısa GIF’i izleyin.

Nei kırdım ve kontroller neyi görebildi?

Kırmak için ne seçeceğimi belirlerken, makalenin bir tarayıcı eylemini betimlediği yöntemi kullandım. WebFovea makalesi her eylemi bir gidiş-dönüş olarak ele alır. Eylem modelden sayfaya gider, sonuç da geri döner. Makale bu dönüşü dört adıma böler.

Bir ayrıştırıcı, modelin yanıtını bir eyleme dönüştürür. Bir yürütücü eylemi sayfaya gönderir. Geri bildirim modele ne olduğunu söyler. Gözlem ise modelden sonra gösterilen şeydir, genellikle yeni bir ekran görüntüsü.

Masadaki üç terimin hızlı açıklaması gerekiyor. Gömülü bir çerçeve ya da iframe, başka bir sayfanın içindeki bir sayfadır. Bir ipucu, işaretçinin üzerine gelindiğinde bir grafik işaretinin yanında beliren küçük etikettir. Aşağıdaki masadaki [im_end] metni, bazı yapay zekâ modellerinin kullandığı bir mesaj sonu işaretinin yerini alır. Her adıma bir tane kasıtlı hata ekledim.

Geri bildirim satırında, gömülü çerçevem ebeveyn sayfasıyla aynı siteden geliyor; bu daha kolay çünkü sayfa kendi çerçevesini doğrudan okuyabilir. Makalenin çerçeve örneği ise siteden sitede geçen daha zor bir durumu içeriyordu.

Kontrollerin bu hataları yakalayıp yakalamadığını görmek için, her görev için farklı hedef konumları veya değerleriyle 40 yerleşim ürettim. Bir yerleşim, aynı sayfanın bir düzenidir. Her kontrol, 40 hatalı eylem ve 40 çalışan eylem üzerine uygulandı. Çalışan eylemler önemlidir çünkü her zaman uyarı veren bir kontrol her hatayı yakalar, aynı zamanda her doğru eylemi de keser.

Bir kontrolün doğru olup olmadığını bilmek için sayfa kendi kaydını tuttu. Girilen metni, tıklanan butonu, seçilen çerçeve satırını ve ekran görüntüsü alındığında görünen ipucunu kaydetti. Bu kayıt, tespit edilen hataları saymak için kullanılan anahtardı. Kontroller, uyarı verecek olup olmadığını karar verirken bu kaydı okuyamadı.

Dört politikanı karşılaştırdım, yani bir eylemi doğrulamanın dört yolunu. Doğrulanmamış tarayıcı aracının modele geri gönderdiği “Algılanabilir değişiklik yok” gibi bir mesajı doğru kabul etti. Genel adres çubuğundaki veya ana sayfanın durumundaki değişiklikleri aradı. İzlek ekran görüntülerini karşılaştırdı. Sonuç kontrolü sayfayı, istenen belirli sonuçla karşılaştırdı; örneğin tam alan metni, seçili düğme, çerçevenin içindeki satır veya grafik değerinin görünüp görünmediği gibi.

İlk tablo, 40 hatalı eylem içinde yakalanan hataları sayar. İkincisi ise 40 çalışan eylem üzerindeki gereksiz uyarıları sayar. İlk tabloda yüksek sayı iyidir, ikinci tabloda kötüdür.

Tablo 1. İlk denemede yakalanan hatalar; 40 düzen kullanıldı. Yüksek sayılar, enjekte edilen hatalardan daha fazlasının tespit edildiğini gösterir. Sayılar sayfanın kendi kaydından alınmıştır.

Tablo 2. Görev başına 40 çalışan eylem üzerindeki uyarılar. Düşük sayılar, daha az gereksiz uyarı anlamına gelir.

Basit kontroller farklı şekillerde başarısız oldu. Genel, 40 yanlış tıklamanın 20’sini kaçırdı. Bunlarda tıklama farklı bir düğmeye isabet etti ve yeşile döndüğü için sayfa yanıtlamış gibi göründü. Diğer 20 tıklama boşluğa isabet etti ve Genel bunları yakaladı. Ayrıca gömülü sayfa değiştiğinde ana sayfa değişmediği için 40 doğru çerçeve tıklamasının hepsinde de uyardı.

İzleğin farklı bir zayıflığı vardı. Yalnızca üç bozuk aramayı buldu ve her aramadan sonra sayfa farklı göründüğü için 40 çalışan aramanın hepsinde uydı. Bir piksel değişikliği, tam bir sorgunun ayrıştırmadan sağ çıkabildiğini kanıtlamaz.

Şekil 2. Yazarın ekran görüntüsü. Ayrıştırıcı, “Record-10” arama terimine [im_end] ekler. Alan görünür biçimde değişir, ancak tam bir arama orijinal adı gerektirir.

Şekil 2. Yazarın ekran görüntüsü. Ayrıştırıcı, “Record-10” arama terimine [im_end] ekler. Alan görünür biçimde değişir, ancak tam bir arama orijinal adı gerektirir.

Hata ayıklamak, ajanın görevi tamamlamasına yardımcı oldu mu?

Hata ayıklamak sorunun yalnızca yarısıydı. İkinci deney için 40 yerleşimden ilk 20’sini kullandım ve bu seçimi herhangi bir model çağrısından önce yaptım. Haiku, görev ve yerleşimin 80 kombinasyonunun her biri için çalışan bir sayfada dört görev ile 20 yerleşim çarpımı kadar tek tek karar verdi. Bu kararların her biri işe yaradı ve 80’inin tümünü korudum.

Kaydedilen her kararı, hata açık olacak şekilde yeniden oynattım, ardından modele sonucu her politikanın raporlayacağı şekilde gösterip tepki verdim. Bir bölüm, bir görevi tamamlamaya yönelik tek girişimdir. Model durabilir, yeniden deneyebilir veya sayfanın değişimi tamamlaması için bekleyebilir; yani bekleyebilir. Üçe kadar tarayıcı eylemine sahipti.

Bu karşılaştırma Doğrulanmamış, Genel ve Sonuç denetimini kullandı. Piksel yalnızca hata ayıklama için değerlendirildi, görev tamamlama için değil; bu nedenle bu deney onun aracının tamamlamaya yardımcı olup olmayacağına dair bir şey söyleyemez. Her politika, dört görevin her biri için aynı 20 yerleşim üzerinde üç kez çalıştırıldı ve 4 × 20 × 3 × 3 = 720 son bölüm üretti; bu dört görevden, 20 yerleşimden, üç politikanın ve üç denemenin sonucudur. Bir bölümü, istenen eylemin hedefine ulaşması veya grafik cevabının değeri gerçekten gösteren bir ekran görüntüsünden geldiğinde başarılı olarak puanladım.

Aşağıdaki sonuçları şekillendiren bir seçim var. Kodu düzeltmenin modelin yapabileceği bir şey olmadığını düşünerek, arama ayrıştırıcıyı ve tıklama yürütücüyü her yeniden denemede bozuk bıraktım. Bu, ona yalnızca daha iyi bilginin verebileceğini gösteriyor. Bir denetim hatalarını tarif edebilir, ancak aynı kod üzerinden atılan başka bir eylem aynı hatayı yapardı.

Şekil 3. Yazarın resmi. Her sayı, bir görev ve politika için 60 bölümden başarılı olanlardır. Yüksek değer, daha fazla tamamlanan görev anlamına gelir. Tıklama ve arama hataları tüm politikalarda sürdü; her iki denetim de Doğrulanmamış’a göre dört grafik tamamlaması kazandı.

Şekil 3. Yazarın resmi. Her sayı, bir görev ve politika için 60 bölümden başarılı olanlardır. Yüksek değer, daha fazla tamamlanan görev anlamına gelir. Tıklama ve arama hataları tüm politikalarda sürdü; her iki denetim de Doğrulanmamış’a göre dört grafik tamamlaması kazandı.

Tablo 3. Son çalışmanın başarılı bölümleri. Her hücre, üç kez tekrarlanan 20 yerleşim içerir. Yüksek sayılar daha tamamlanmış görevi gösterir.

Sıfırları okurken bu ısrar önem taşır. Sıfırlar bekleniyordu ve bir tanıların modele neyi ve neyi vermediğini gösteriyor. Bir aramada Outcome check, Record-10[im_end]’u sahadan geri okudu ve modele bunun Record-10’dan farklı olduğunu söyledi. Yine de aynı ayrıştırıcıdan geçen bir yeniden deneme yapıldı.

Tıklama bölümleri daha az belli bir şey gösteriyor. Tüm 60 Outcome check bölümünde kontrol, öğenin seçildiğini bildirdi ve hedefin doğru tarayıcı konumunu sağladı. Yönergeler modele hâlâ görüntü koordinatlarında cevap vermesini söylüyordu ve model ilk noktasını üç kez yineledi. Değişmeyen yürütücü her bölümde üç yanlış tıklama gönderdi.

Çerçeve görevinde sonuç tam tersiydi. Tarayıcı aracı “Algılanabilir değişiklik yok” dedi, ancak sayfa doğru satırı seçti. Üç politikanın tümü 60 bölümün tamamını tamamladı.

Generic, modele hiçbir şey değişmediğini söyledi, çünkü yalnızca ana sayfayı izledi ve 60 bölümden 4’ünde model hiçbir sebep olmadan ikinci kez tıkladı. Outcome check çerçeveyi okudu ve ekstra tıklamaya ihtiyaç duymadı. Tarayıcı aracının mesajı ile sayfa uyuşmazdı, ancak ekran görüntüsü satirin seçildiğini gösteriyordu, dolayısıyla model işi tamamlayabildi.

Şekil 4. Yazarın ekran görüntüsü. Outcome check seçilen satırı bildirirken ham araç geri bildirimi “Algılanabilir değişiklik yok” diyor. Gömülü çerçeve aynı siteden geliyor.

Şekil 4. Yazarın ekran görüntüsü. Outcome check seçilen satırı bildirirken ham araç geri bildirimi “Algılanabilir değişiklik yok” diyor. Gömülü çerçeve aynı siteden geliyor.

Ekran görüntüsünün araç ipucundan önce geldiği grafik görevi, tamamlanma farkı olan tek görevdi. Unverified 60 bölümün 56’sında başarılı oldu. Dört bölümde ise değeri gösteren bir ekran görüntüsü gelmeden önce durdu. Her iki kontrol de modeli tekrar üzerine gelmeye ya da beklemeye yönlendirdi, ardından yeni bir ekran görüntüsü alındı ve tüm 60 bölümde başarılı olundu.

Şekil 5. Yazarın ekran görüntüsü. Bunlar aynı düzen üzerinde ayrı politika denemeleridir. Doğrulanmamış, değer ekran görüntüsünde belirmeden durdu; Generic hover işlemini tekrarladı ve 89 değerini gördü.

Kazanç, 60 demetten dördü, yani 6,7 puanlık bir artış. Kazancın ne kadar değişebileceğini görmek için 20 düzeni defalarca yeniden çizdim ve her düzenin üç çalışmasını bir arada tuttum. Yeniden çizilen kazançların orta %95’lik dilimi 0 ile 15 puan arasında değişti. Sıfır kazanç hâlâ mümkün olduğundan, bu küçük sonuç güvenilir bir üstünlük ortaya koymaz. Generic, tamamlandığında Outcome check ile eşleştiği için bu görevde daha basit kontrol yeterliydi.

Karşılaştırmayı etkileyen değişiklikler ve sınırlar

Bu değişiklikler ve sınırlar, son sayıları önceki çalışmalarla karşılaştırırken ya da başka tarayıcı ajanlarına uygularken önem taşır.

Bir geliştirme çalışmasında, bazı model yanıtlarının metin tamamlanmadan önce kesildiği görüldü. Son sonuçları belirlemeden önce sabit bir yanıt biçimine geçtim. Ayrıca ardışık demetlerin birbiri ardına işlediği ilk denemeyi, 13 demetten sonra durdurdum; çünkü 720 demeti böylece tamamlamak çok uzun sürerdi. Bu 13 arama demetinin sıfır başarıları vardı ve arşivlendikten sonra son tabludan çıkarıldı.

Tüm kümeyi 180 demetlik dört ayrı grupta yeniden çalıştırdım. İstemler, hatalar, kontroller, puanlama kuralları ve seçilen 20 düzen bu çalışma planı değişikliği boyunca aynı kaldı.

Bu çalışma planı değişikliğinin ötesinde, çalışmanın sınırları var. Tam çalışmadaki 20 düzen, ilk testteki 40 düzenin bir alt kümesiydi. Çalışma, tek bir basit site, tek bir model ve istem, kasıtlı olarak enjekte edilen hatalar ve aynı siteden alınan bir çerçeve kullandı. Her son demet, temiz bir sayfada çalıştığı bilinen bir kararla başladı. Bu sayılar, bu kurulumdaki geri kazanımı ölçer; halka açık sitelerde böyle hataların sıklığını ya da daha zor tarama görevlerinde doğruluğu değil.

Deneylem’i çalıştırmak ucuzdu. Son döngüde kaydedilen model çağrıları yaklaşık 24 ABD senti tuttu. Bu makale için kaydedilen tüm model işi, geliştirme ve durdurulan ilk deneme dahil olmak üzere yaklaşık 27 ABD senti etti.

Bu, web siteleri AI araçlarıyla test eden veya kuran biri için ne anlama gelir?

Deneylem küçüktü, ancak WebFovea makalesi bu dört hür türünü canlı web sitelerinde raporluyor. Bu nedenle bir AI aracına bir sitede tıklamayı denetmesini istiyorsanız, bunları bilmek değerli. Bu durum bu şekilde sayfaları test eden web geliştiricilerine ve bazen “vibe coding” olarak adlandırılan, siteleri bir AI aracına tarif ederek kuran kişilere uygulanır. Aşağıdaki tablo, deneylemden alınan her sonucu uygulayabileceğiniz bir şeye dönüştürüyor.

Tablo 4. Bir AI araçlarıyla test eden veya kuran biri için her sonucun anlamı. Her satır, yukarıda bildirilen bir sonuca dayanıyor.

Bunlar tek bir küçük deneylemden gelen öneriler, bu yüzden kendi siteniz ve araçlarınızla karşılaştırın. Bir fikir, ölçtüğüm şeyin ötesine geçiyor. Bir site kuruyorsanız, sayfa metninde önemli bir değeri göstermek ve yalnızca üzerine gelindiğinde (hover) göstermemek, ekran görüntüsüne dayalı bir aracın bunu okumasını kolaylaştırabilir. Bunu test etmedim, bu yüzden tahmin olarak değerlendirin.

Son öneri, bir site kuran veya AI araçlarıyla kontrol eden herkes içindir. Araç bir düğmeye tıkladığını söylüyor ama sayfa aynı görünüyorrsa, sayfayı geri okumasını ve neyin değiştiğini söylemesini isteyin. Deneyde bunu Outcome (sonuç) kontrolü yaptı.

Bir browser (tarayıcı) ajanında neyi kontrol ederdim?

Bu hürlerin tümü modelin yanıtıyla sayfa arasında oluştu. Bu yüzden modelin isteğini, görüntü ve tarayıcı boyutlarını ve tarayıcıya gerçekten gönderilen eylemi kaydederdim. Ayrıca bunu alan elemanı veya çerçeveyi ve modele gösterilen gözlemi de kaydederdim.

Yukarıdaki tıklama dönüştürme, tek bir adımı açık hale getiriyor: görüntü konumundan tarayıcı konumuna geçiş. Bir metin arama için de arama kutusundan geri okunan metin gerekir. Bir çerçeve tıklaması o çerçevenin durumunu, bir grafik yanıtı için de değeri içeren bir ekran görüntüsünü gerektirir.

Kontroller bir uyumsuzluğu ortaya çıkarabilir ve başka bir gözlem eksik kanıtı sağladığında yardımcı olabilir. Ancak ajanın ya da çevresindeki kodun bir sonraki eylemin nasıl gönderildiğini değiştirmesi dışında, kalıcı bir ayrıştırıcı ya da yürütücü hatasını düzeltemezler. Bir ajan kötü muhakeme yürütüyormuş gibi görünüyorsa, prompt’u değiştirmeden önce eylemin tarayıcı üzerinden geçen yolu incelenmelidir.

Başarısız bir tıklamadan sonra loglarınız, modelin istediği koordinatları, tarayıcının gerçekten aldığı noktayı yoksa yalnızca son ekran görüntüsünü gösterir mi?

Seçilen kaynaklar

  • WebFovea makalesi, bildirilen canlı site hataları ve dört adım çerçevelemesi için.

  • Anthropic görsel dokümantasyonu, büyük görsellerin model görmeden önce nasıl yeniden boyutlandırıldığı ve modelin koordinatlarının yeniden boyutlandırılmış görselle nasıl ilişkili olduğu için.

  • Playwright Mouse API, tarayıcı piksel convention’ı için.

  • Deneysel kod ve ham sonuçlar, tarayıcı sayfaları, adım adım loglar, figürler ve kaydı dahil.

İlginizi Çekebilir: İndirmeler Klasörümü Bir AI Ajanının Temizlemesine İzin Verdim; On Yılldır Yapamadığından Daha İyi Yaptı →
Kaynak: Towardsdatascience ↗Kaynak yazarı: Abdullahi Dattijo
🚀 SayarBilgi Topluluğu

Bu Gelişmeyi Toplulukta Değerlendirin

Haber hakkındaki düşüncelerinizi, donanım deneyimlerinizi ve teknik sorularınızı topluluk üyeleriyle anlık olarak tartışın.

🚀 Yapay Zeka & Gelecek Odası →
💬 Topluluk Masası & Tartışma

Bu gelişme hakkında düşüncelerinizi, donanım deneyimlerinizi veya sorularınızı Topluluk Forumumuzda paylaşın.

Foruma Katıl & Yanıtla ➔
Forumda sor / tartış
TOPLULUĞUN SESİ

Söz sizde.

0 yorum

Deneyiminizi, sorularınızı ve katkılarınızı paylaşın. E-posta adresiniz yayımlanmaz.

Sohbete katıl

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Yorumunuz yayımlanmadan önce onay bekleyebilir.

BİR SONRAKİ OKUMA

Merak etmeye devam

Tümünü gör ↗

Neyi merak ediyorsun?

En az 3 karakter yazın.

Keşfet