Ana sayfa→Yapay Zekâ
Yapay Zekâ

Yüzlerce Yapay Zeka Ajanının Verileri: Hatalar Değil, Sessiz Kayma Nedeniyle Başarısız Oluyorlar.

Yayın:

Geleneksel yazılımların genellikle gürültülü bir şekilde başarısız olmasına alışkınız. Bir hizmet hata fırlatır veya bir istek 500 hatası döndürür; hata…

User Avatar
Alper DemirEditör
7 dk okuma
Yüzlerce Yapay Zeka Ajanının Verileri: Hatalar Değil, Sessiz Kayma Nedeniyle Başarısız Oluyorlar

Geleneksel yazılımların genellikle gürültülü bir şekilde başarısız olmasına alışkınız. Bir hizmet hata fırlatır veya bir istek 500 hatası döndürür; hata oranları gözle görülür şekilde artar. Ancak yapay zeka ajanları genellikle bu şekilde çalışmaz.

Bir ajan, giderek daha az doğru, daha maliyetli veya daha yavaş hale gelirken bile kendinden emin ve iyi yapılandırılmış yanıtlar vermeye devam edebilir. Ne yazık ki, bunların hiçbiri bariz bir hata olarak görünmez, bu da üretim ortamlarında daha da zararlı olmasına neden olabilir.

Data From 100+ AI Agents Shows They Fail by Silent Drift, Not Errors

Bu durumun pratikte nasıl işlediğini görmek istedik. Ekibim, yedi ay boyunca onlarca şirketten gelen 100’den fazla üretim yapay zeka ajanının uyarı verilerini analiz etti. Tutarlı bir örüntü gözlemledik:

SayarBilgi sitesini Google’da tercih edilen kaynak olarak seç

Sorunlar, izlemenin başlamasından birkaç gün sonra ortaya çıkıyor.

Data From 100+ AI Agents Shows They Fail by Silent Drift, Not Errors

Önce kalite, maliyet ve hız sorunları beliriyor. Hatalar ise en son ortaya çıkan ve neredeyse hiç görülmeyen unsurlar.

Sorunların çoğu tekrarlıyor. Özellikle kontrolden çıkmış döngüler kronikleşme eğiliminde.

Sorunlar birlikte geliyor: Token artışları neredeyse her zaman diğer uyarı işaretleriyle birlikte görülüyor; bunların başında da çıktı kalitesindeki düşüş geliyor.

Ekiblerin mevcut kontrolleri büyük ölçüde çıktı kalitesi ve maliyete odaklanıyor, ancak yönetişim ve güvenliği neredeyse hiç ele almıyor.

Bu makale, her bir bulguyu ve bunun ajanların üretimde nasıl izlenmesi gerektiği açısından ne anlama geldiğini detaylandırıyor.

Veriler, kurucu ortağım olduğum Monte Carlo şirketinden geliyor; burada bu ajanlar izleniyor. Veriler, Snowflake Cortex, Databricks Genie veya OpenTelemetry tarzı izleri şirketin kendi veri ambarına gönderen özel sistemler üzerinde çalışan onlarca müşteriden gelen 100’den fazla üretim yapay zeka ajanını kapsıyor. Bu analiz için 9 Nisan ile 2 Kasım 2026 tarihleri arasında ajanlarla ilgili yükseltilen uyarıları inceledik.

Her ajan üzerinde bir dizi kontrol bulunuyordu ve bunları şu türlere ayırdık:

Çıktı kalitesi değerlendirmeleri: Bir LLM jürisinin yanıtları faydalılık, gerçeklere dayanıklılık veya görev tamamlama gibi kriterlerden puanlaması.

Token harcaması, gecikme ve hata kontrolleri: Ajanın çalışmaları sırasında anormallik tespiti veya sabit eşikler kullanılarak ölçülüyor.

Kontrolden çıkmış döngü kontrolleri: Ajanın normal bir çalışmadan çok daha fazla aynı araç çağrısını, sorguyu veya yeniden denemeyi tekrarlamasını tespit ediyor.

Yörünge ve doğrulama kontrolleri: Ajanın izlediği adımların sırasını inceliyor.

“Uyarı”, bu kontrollerden birinin tetiklenmesi anlamına geliyor. Bu, bir eşik ihlali veya anormalliktir, doğrulanmış bir başarısızlık değil. İç, demo, test ve deneme alanlarını, test izleyicilerini, üretim ajanlarının geliştirme kopyalarını ve hiç tetiklenmemiş duraklatılmış izleyicileri dışladık. Aynı hesapta özdeş yapılandırmaya sahip ajanlar tek olarak sayıldı. Sonundaki sınırlamalar, bu rakamların ne kadar güvenilir olduğu konusunda önemli ipuçları veriyor.

İşte bulduğumuz temel içgörüler.

Sorunlar birkaç gün içinde ortaya çıkıyor

İncelediğimiz verilerde, izlenen ajanların %89’unun analiz süresi boyunca en az bir uyarı verdiğini gördük. Yarısı, ilk kontrollerinin devreye girmesinden bir hafta içinde uyarı aldı ve ilk uyarıya kadar geçen medyan süre sadece altı gündü.

Bu, ajanların kalitesinden ziyade gerçek dünya ile ilk karşılaşmalarını yansıtıyor. Ajanlar genellikle testleri geçiyor, ancak üretimdeki ilk günlerinde gerçek kullanıcılarla, gerçek verilerle ve beklenmedik durumlarla karşılaşıyorlar. Bu nedenle kontroller neredeyse anında tetiklenmeye başlıyor.

Kalite ve maliyet, hatalardan önce sorun çıkarıyor

İncelediğimiz daha aydınlatıcı soru, hangi kontrollerin ne zaman tetiklendiğiydi. Her kontrol türü için yalnızca o kontrole sahip olan ajanları inceledik ve kaçının uyarı verdiğini ve ilk uyarının ne kadar sürede geldiğini ölçtük.

Ajanların ne kadar iyi ve verimli çalıştığını izleyen kontroller erken ve sık tetiklendi. Çıktı kalitesi değerlendirmesi olan ajanların %83’ü bir kalite uyarısı verdi ve ilk uyarıya kadar geçen medyan süre sekiz gündü. Token harcaması ve gecikme kontrolleri de benzer sonuçlar verdi: Ajanların yaklaşık dörtte üçü uyarı verdi ve bu genellikle sekiz veya dokuz gün içinde gerçekleşti. Döngü kontrolleri ise mevcut olduğunda neredeyse anında tetiklendi; medyan süre bir gündü.

Şekil 1’de görüldüğü gibi, hata kontrolleri istisnaydı. Hata kontrolü olan ajanların yarısından azı bir hata uyarısı verdi ve bunlar da medyan olarak 42 gün, yani yaklaşık altı hafta sonra gerçekleşti.

Her ajan için hangi uyarının ilk geldiğini incelediğimizde, hataların yalnızca ajanların yaklaşık %1’inde ilk uyarılardan biri olduğunu gördük. Kalite ve token uyarıları ise ajanların %38’inde ilk sinyallerden biriydi.

Bu, “kayma” argümanının özüdür. Bir ajanın hata kontrolünün tanıyacağı bir durum üretmesi için genellikle haftalarca daha kötü yanıtlar vermiş, daha fazla token harcamış veya daha yavaş çalışmış olur. Hata oranlarıyla başlayan bir izleme sistemi, değişen son unsuru izler ve sessizce biriken olumsuz sonuçları gözden kaçırır.

İkinci örüntü ise kalıcılıktır. Uyarı veren ajanlar için her kontrol türünün kaç farklı günde tetiklendiğini saydık.

Her kontrol türünde, uyarı veren ajanların çoğu üç veya daha fazla farklı günde uyarı verdi. Tek seferlik uyarılar azınlıktaydı: Kalite değerlendirmelerinde %16, token harcamasında %20 ve gecikme ile hatalarda yaklaşık üçte bir. Kontrolden çıkmış döngüler en kalıcı olanıydı: Döngü uyarısı alan ajanların %78’inde bu uyarı üç veya daha fazla günde görüldü ve medyan dokuz farklı güne ulaştı.

Burada bir sınırlama var: Bazı kontroller aynı devam eden durum için tekrar uyarı verebilir. Bu etkiyi azaltmak için ayrı günleri saydık, ancak kronik gibi görünen durumların bir kısmı aslında tek bir uzun süreli sorun olabilir. Her iki durumda da pratik sonuç aynıdır: Ajan sorunlarının çoğu tek bir düzeltmeyle çözülmez ve her uyarıyı ayrı bir olay olarak ele almak gerçeği gizler.

Maliyet, kalite ve hız birlikte hareket ediyor

Eğer ajanlar bozulmak yerine kayıyorsa, sinyallerin de birlikte hareket etmesi gerekir. Token harcaması bu teoriyi test etmek için iyi bir gösterge ve analizimiz bunu doğruluyor.

Token kontrolü olan ajanların yaklaşık dörtte üçü en az bir token anormalliği bildirdi ve bu anormalliklerin neredeyse tamamı artış şeklindeydi: Düşüşler %3’ten azdı.

Token kullanımı arttığında başka neler olduğunu görmek için, ajanın token artışı yaşadığı her günü inceledik ve bu artışın yakınında başka uyarılar olup olmadığını araştırdık: Artış gününü ve öncesindeki iki günü kapsayan aynı ajan veya aynı şirketteki başka bir ajan üzerinde. Sonra bunu aynı ajanların diğer tüm günleriyle karşılaştırdık.

Temel Bulgular ve Genel Değerlendirme

Korelasyon ve maruziyet, neden değil. Bunlar uyarı örüntüleridir, ajan davranışlarının denetimi değil. Bir uyarı, bir eşik ihlalidir, doğrulanmış bir başarısızlık değil.

Eşitsiz kapsama. Ajanlar genellikle birkaç kalite değerlendirmesine ve yalnızca bir hata kontrolüne sahiptir, bu nedenle kalite kontrollerinin tetiklenme olasılığı daha yüksektir. Bu, kalite rakamlarını bir miktar şişirir, ancak hata kontrollerinin neden nadiren tetiklendiğini açıklamaz.

Kontrolleri kimin kurduğu. Veriler, tek bir izleme platformunun müşterilerinden geliyor ve platform veya personeli kontrollerin yarısından fazlasını otomatik olarak veya kurulum sırasında ayarladı. Varsayılan eşikler, özellikle hata kontrolleri için, muhafazakar ayarlanmış olabilir; bu da hataların gerçekte olduğundan daha az belirgin görünmesine neden olabilir.

Tekrarlayan uyarılar. Bazı kontroller, devam eden bir durum için her gün yeni bir uyarı verebilir. Ayrı günleri saymak bu etkiyi azaltır, ancak tamamen ortadan kaldırmaz; bu da tekrarlanma rakamlarını etkiler.

Yoğunlaşma ve küçük gruplar. Gecikme ve döngü uyarıları az sayıda şirkete odaklanıyor, yörünge ve doğrulama kontrolleri ise ayrı bir analiz için çok az ajanı kapsıyor.

Bu verilerin üretimdeki ajanlar hakkında söylediği en net şey, onların geleneksel yazılımlar gibi nadiren başarısız olduklarıdır. Başarısızlık, gürültülü bir hata yerine kalitedeki düşüş, artan gecikme ve yavaş yükselen maliyetler şeklinde ortaya çıkan bir “kayma” olarak belirir. Uyarılar geldiğinde bile, genellikle asıl sorunun ortaya çıkmasından günler veya haftalar sonra gelir; bu da sorunların sistemde kökleşmesine ve yayılmasına neden olur. Ayrıca, sorunlar genellikle tekrarlar; bu nedenle her uyarıyı tek seferlik bir olay olarak ele almak gerçeği gizleyebilir.

Bu verileri ve sınırlamalarını açıkça belirtmek gerekirse, gösterebildikleri ve gösteremedikleri şeyler var. Örneğin, veriler zaten ajanlarını ticari bir platformla izlemeyi seçmiş ekiplerden geliyor; bu da örneklemimizi büyük ve karmaşık kurulumlara sahip kuruluşlar lehine yanlı hale getirebilir. Ayrıca, yalnızca izleyicilerin yakalaması için yapılandırılmış sorunları görebiliyoruz. Henüz fark edilmemiş ne kadar ajan kayması olduğunu bilemeyiz ve hangi sorunların gerçek, hangi eşiklerin belki de aşırı hassas olduğunu ayırt edemeyiz. Bu, her bir özel durum için dağıtıma aşina olan bir mühendisin değerlendirmesine bırakılması gereken bir nüanstır. Ayrıca, birçok ekip zaten mevcut uygulama izleme araçlarıyla daha bariz hataları yakalıyor; bu da verilerdeki daha sessiz hata oranlarını etkileyebilir.

Bu sınırlamalara rağmen, sessiz kayma örüntüleri üzerinde harekete geçmek önemlidir ve bu, özel bir ürün gerektirmez.

Ekipler, OpenTelemetry izleme, açık kaynaklı değerlendirme çerçeveleri ve kendi veri ambarlarındaki izlere yönelik sorgularla bu yolun büyük bir kısmını katedebilir. Dahası, en etkili önlemlerden bazıları izleme bile değildir. Bunlar arasında araç yeniden denemeleri ve çalışma başına adım sayısına katı sınırlar koymak, çalışma başına token bütçeleri uygulamak, gerçek üretim trafiğine dayalı regresyon test setleri oluşturmak ve örneklenmiş çıktıların insan tarafından incelenmesini sağlamak yer alır. Daha fazla kontrol her zaman daha iyi değildir; her uyarı bir mühendisin dikkatini gerektirir ve aşırı uyarı yükü, gürültülü bir sistemin gerçek bir sonucudur.

Tasarım aşamasında, yukarıda belirtilen taktiklerle önleme yapmak, üretimdeki izleme ve tespitle birleştiğinde iyi sonuç verir. Hangi araçları kullanırsanız kullanın, ajanlarınızı etkileyebilecek daha sessiz başarısızlık kaynaklarını göz önünde bulundurun; sistemleriniz ve ürünleriniz bundan büyük ölçüde fayda görecektir.

Açıklama: Monte Carlo’nun kurucu ortağı ve CEO’suyum. Bu makaledeki veriler, Monte Carlo müşterilerinden toplanan, anonimleştirilmiş telemetri verileridir.

İlginizi Çekebilir: Mogging” Yılın Sözü Oldu – Ama Erkekler Bunu Shakespeare Zamanlarından Beri Yapıyordu →
🚀 SayarBilgi Topluluğu

Bu Gelişmeyi Toplulukta Değerlendirin

Haber hakkındaki düşüncelerinizi, donanım deneyimlerinizi ve teknik sorularınızı topluluk üyeleriyle anlık olarak tartışın.

🚀 Yapay Zeka & Gelecek Odası →
Kaynak: TowardsdatascienceKaynak yazarı: Barr Moses
💬 Topluluk Masası & Tartışma

Bu gelişme hakkında düşüncelerinizi, donanım deneyimlerinizi veya sorularınızı Topluluk Forumumuzda paylaşın.

Foruma Katıl & Yanıtla ➔
Forumda sor / tartış
TOPLULUĞUN SESİ

Söz sizde.

1 yorum

Deneyiminizi, sorularınızı ve katkılarınızı paylaşın. E-posta adresiniz yayımlanmaz.

Sohbete katıl

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Yorumunuz yayımlanmadan önce onay bekleyebilir.

BİR SONRAKİ OKUMA

Merak etmeye devam

Tümünü gör ↗

Neyi merak ediyorsun?

En az 3 karakter yazın.

Keşfet

Ağ Bağlantıları:Laptop • Teknoloji • Donanım Rehberi • PC Upgrades • Oyun İnceleme