Bu sistemin incelemesinin yapıldığı odaya ben de katılmıştım. Orta ölçekli bir SaaS şirketi, faturalama ve hesap işlemleriyle ilgili müşteri destek taleplerini yanıtlamak için bir yapay zeka destekli sistem geliştirmişti. Bu sistem, benim tasarladığım on iki farklı ölçütü içeren değerlendirme çerçevesiyle test edilmişti. Bu ölçütler arasında görev tamamlama oranı, doğruluk, veri erişim doğruluğu, araç kullanım başarısı, yanıt hızı ve hatalı bilgi verme oranı bulunuyordu. Tüm bu ölçütlerde sistem, belirlenen hedeflere uygun sonuçlar veriyordu. Her bakış açısıyla değerlendirildiğinde, sistem beklentileri karşılıyordu.
Finans departmanının yöneticisi bilgisayarını açtı ve ekrana bir sayı yansıttı. Yapay zeka destekli sistemin her bir çözülen talep için maliyeti, yapay zekanın çözüm bulamadığı talepler de dahil olmak üzere, şirketin aynı işi yapmak için ödediği insan kaynakları maliyetinden daha yüksekti. Bu fark, ihmal edilebilir düzeyde değildi. Yapay zeka destekli sistemin kullanımının getirdiği ek maliyet, tamamen insan gücüyle yürütülen süreçten daha pahalıydı.
Mühendislik departmanının başı bu duruma itiraz etti. “Tüm kalite ölçütleri olumlu,” dedi. “Bu sistem, aynı talep türlerinde insan ekipten daha doğru sonuçlar veriyor.” Bu ifade doğrudu. Ancak o odadaki tartışmada, bu durumun önemi azalmıştı. Sistem doğru sonuçlar üretmesine rağmen, maliyet açısından kabul edilemez bir durumdaydı ve değerlendirme çerçevesi, bu ikinci önemli faktörü dikkate almıyordu.
Ben bu değerlendirme çerçevesini tasarladım. Tasarladığım on iki ölçütün öneminin farkındayım. Ancak burada bir eksiklik olduğunu anladım ve son iki ay içinde ekiplerin bu sistemi kullanmaya başlamasıyla birlikte, bu eksikliğin büyüklüğü daha da belirginleşti. Bu değerlendirme çerçevesi, sistemin doğru sonuçlar verip vermediğini ölçüyor. Ancak sistemin maliyet etkinliğini ölçmüyor. 2026 yılında, hangi yapay zeka sistemlerinin kullanıma devam edeceğini belirleyen en önemli faktör bu ikinci sorunun cevabı olacak ve şu anda bu durum değerlendirme çerçevesine dahil edilmemiş.
Bu yazıda, aslında hangi ölçütün eklenmesi gerektiği, neden bu kadar zor ölçüldüğü ve ekiplerin maliyetler kabul edilemez bir seviyeye yükseldiğinde neler yaptığına dair bilgiler sunacağım.
Değerlendirme Çerçevesinin Ölçtükleri ve Eksik Kalanlar
Bu durum, tarihte birçok teknolojik gelişmenin karşılaştığı benzer zorlukları akla getiriyor. Örneğin, 19. yüzyılın sonlarında demiryollarının yaygınlaşmasıyla birlikte, köylere ulaşım kolaylaşmış ancak bu durum, bazı köylerin ekonomik olarak geride kalmasına neden olmuştu. Benzer şekilde, erken dönem bilgisayarlarının kullanımı da yüksek maliyetler nedeniyle sınırlı kalmıştı. Bu örnekler, teknolojinin sadece teknik üstünlük sağlamakla kalmayıp, aynı zamanda sosyo-ekonomik etkilerini de dikkate almanın önemini gösteriyor.
Bu özel sistem, temel bir soruyu yanıtlamak amacıyla geliştirildi: Bu yapay zeka, gerçek kullanım koşullarında doğru şekilde çalışıyor mu? Sistem, bir yapay zekanın hatalara yol açabilecek tüm olası durumları kapsar. Yanlış bağlamın ortaya çıkarılması, uydurma cevaplar üretilmesi, hatalı argümanların kullanılması, sonsuz döngülere girmesi, kullanıcının amacından sapması gibi durumlar dikkate alınır. Her bir ölçüt, yapay zekanın yanlış sonuçlara yol açabilecek farklı yollarını izole eder ve birlikte, sistemin genel kalitesi hakkında güvenilir bir değerlendirme sağlar.
Bu ölçütlerin her biri, kaliteyi değerlendirmek için tasarlanmıştır; ekonomik verimliliği değil. Başlangıçta, kalite sorununu çözmek öncelikliydi. Maliyet ise, istediğiniz zaman kontrol edebileceğiniz operasyonel bir detay olarak görülüyordu. 2026’nın başlarında, yapay zeka işlemlerinin giderek daha ucuz hale geldiği ve asıl zorluğun güvenilirliği olduğu yönünde genel bir beklenti vardı. Önce kaliteyi ölçün, böylece ekonomik sorunlar kendiliğinden çözülecektir, düşüncesi hakimdi.
Ancak, ekonomik sorunlar kendiliğinden çözülmedi. İşlem başına maliyetler düşmeye devam etti, ancak yapay zeka sistemlerinin karmaşıklığı ve kaynak tüketimi daha hızlı arttı. 2026 yılında, bir yapay zeka işleminin tamamlanması tek bir model çağrısıyla sınırlı değildi. Planlama adımları, araç kullanımları, çıkarım süreçleri, bazen kendi kendini değerlendirme döngüleri ve başarısız durumlarda tekrar denemeler gibi aşamalar içeriyordu. Token fiyatları düşerken, her işlemde kullanılan token sayısı arttı ve birçok durumda bu artış, maliyetlerdeki azalmayı aştı.
İşte bu nedenle, yalnızca kaliteyi ölçen bir sistemin yanıltıcı olmasının temel nedeni budur. Bu tür bir sistem, yapay zekanın işini iyi yaptığı izlenimini verebilirken, bu şekilde yapılan işlemin maliyet etkinliği hakkında hiçbir şey söylemez. Bir yapay zeka sistemi, tüm kalite bantlarında başarılı olabilir ve yine de her tamamlanan işlemde zarar edebilir. Sistem, yeşil ışıklar gösterirken, birim başına karlılık düşebilir, çünkü sistemin amacı başlangıçta birim ekonomisiyle ilgili değildi.
Ölçüt: Başarılı sonuç başına maliyet
Yapay Zeka Destekli Müşteri Hizmetlerinin Maliyet Analizi
Yapay zeka destekli müşteri hizmetleri sistemlerinin etkinliğini değerlendirmek için dikkat edilmesi gereken temel metrik, “başarılı bir iş sonucunun maliyeti”dir. Bu, sadece yapılan çağrı sayısına, kullanılan token miktarına veya doğruluğa bakmaktan çok daha önemlidir. Tam olarak hesaplanmış maliyetin, başarılı sonuçların sayısına bölünmesiyle elde edilir.
Buradaki kritik kelime “başarılı”dır. Sadece çağrı başına maliyeti hesaplamak kolay olsa da yanıltıcı olabilir. Başarılı bir iş sonucunun maliyetini hesaplamak daha zordur ancak gerçeği yansıtır ve şirketlerin ekonomik sorunlarının temelinde bu yanlış hesaplama yatar.
Şirketin kullandığı yapay zeka sisteminin neden başarısız olduğuna dair bazı örnekler aşağıdadır (sayılar gizlilik nedeniyle yuvarlanmıştır, ancak yapı aynıdır):
Yapay zeka sistemi, gelen tüm talepleri ele almaya çalışıyordu. Her bir denemenin maliyeti yaklaşık 3,40 ABD Dolarıydı (yaklaşık 56 TL). Bu maliyet, yapay zekanın muhakeme süreçlerini, kullandığı araçları ve tekrar denemelerini içeriyordu. Yapay zeka sisteminin, değerlendirme mekanizması tarafından yüksek olarak kabul edilen bir kalite standardına göre, taleplerin %71’ini çözdü. Kalan %29’u ise insan operatörlere yönlendirildi.
Örneğin, 1000 talepte, yapay zeka sistemi toplamda 3400 ABD Doları (yaklaşık 56.000 TL) harcadı. Bu taleplerden 710’u çözülürken, 290’ı insan operatörlere yönlendirildi. İnsan operatörlerin her bir talebe müdahale etme maliyeti yaklaşık 4,20 ABD Dolarıydı (yaklaşık 68 TL), bu da toplamda 1218 ABD Dolarına (yaklaşık 20.000 TL) denk geliyordu. Sonuç olarak, şirketin 1000 talebi çözmek için yaptığı toplam harcama 4618 ABD Dolarıydı (yaklaşık 76.000 TL), oysa sadece insan operatörler kullanılarak bu maliyet 4200 ABD Dolarına (yaklaşık 68.000 TL) düşürülebilirdi. Yani, yapay zeka destekli sistem, tamamen insan gücüyle çalışmaya göre %10 daha pahalıydı.
Ancak asıl önemli olan metrik, “başarılı bir yapay zeka sonucunun maliyeti”dir. Bu, sadece yapay zeka sisteminin kullandığı kaynakların maliyetini değil, aynı zamanda başarısız denemelerin de maliyetini içerir. Örneğin, yukarıdaki örnekte, her başarılı çözüm için ortalama 4,79 ABD Doları (yaklaşık 78 TL) harcanmıştır. Her başarılı çözümün bu kadar pahalı olmasının nedeni, başarısız olan ve insan operatörlere yönlendirilen taleplerin maliyetinin de başarılı çözümlerin maliyetine eklenmesidir. Oysa aynı talebi sadece bir insan operatörle çözmek 4,20 ABD Dolarına (yaklaşık 68 TL) mal oluyordu. Bu durumda, yapay zeka sistemi daha doğru olmasına rağmen, her başarılı çözüm için ortalama 59 sent (yaklaşık 9,5 TL) daha pahalıydı ve aynı zamanda, insan operatörlere yönlendirilen talepler için de ek bir maliyet yaratıyordu.
Bu durum, tarihte benzer şekilde teknolojik yeniliklerin beklenenden farklı sonuçlar doğurabileceğine dair örnekler sunmaktadır. Örneğin, 19. yüzyılda buhar gücünün yaygınlaşmasıyla birlikte, kömür madenciliğinin hızla gelişmesi ve bunun da beraberinde işçi sınıfının yaşam koşullarının kötüleşmesine neden olması gibi. Benzer şekilde, bazı durumlarda teknolojik ilerlemeler, beklenen faydaları sağlamayabilir veya hatta olumsuz sonuçlar doğurabilir.
Değerlendirme sisteminde, yüksek kalitede ve başarılı sonuçlar veren durumlarda %71’lik bir çözüm oranı gözlemlenirken, mali işler müdürü (CFO), çözülen her talebin gerçek maliyetinin, insan gücüyle yapılan işlemlere göre daha yüksek olduğunu belirterek başarısızlık raporu verdi. Her ikisi de haklıydı. Çünkü farklı şeyleri ölçüyorlardı ve sadece bunlardan biri, yapay zeka sisteminin hayatta kalıp kalmayacağını belirliyordu.
Neden Göründüğünden Daha Karmaşık Bir Ölçüm
Başarıya ulaşan her işlem için ödenen maliyetin, bir sistemin devamlılığına karar veren temel ölçüt olduğu varsayılırsa, doğal olarak sorulacak soru şu olacaktır: Neden ekipler zaten bu veriyi takip etmiyor? Cevap, bunun gerçekten hesaplanmasının zor olmasıdır ve bu zorluk, maliyet-faydası analizini gizleyen üç farklı şekilde ortaya çıkar.
İlk sorun, başarısız denemelerin maliyetinin doğru bir şekilde dağıtılmasıdır. Başarıya ulaşan her işlemin maliyeti, o başarıya ulaşmak için yapılan başarısız denemelerin maliyetini de içerir. Örneğin, bir yapay zeka sistemi bir talebi ele alır, 3.40 ABD Doları (yaklaşık 85 TL) değerinde işlem ve araç kullanımı yapar ve ardından bu talebin çözümü için insan müdahalesine ihtiyaç duyulursa, o 3.40 ABD Dolarının maliyeti doğrudan başarılı bir sonuca yol açmamıştır, ancak yine de sistemi çalışır tutmanın gerçek bir maliyetidir. Başarısız denemelerin maliyetini başarılarla doğru bir şekilde eşleştirmeden, gerçek maliyeti hesaplamak mümkün değildir. Çoğu ekip, işlem başına maliyeti izler, rahat bir sayı görür ve genellikle bu sayının ne anlama geldiğini ortaya çıkaran bölme işlemini yapmazlar. İşlem başına maliyet ile başarılı sonuç başına maliyet arasındaki fark bazen iki katı olabilir ve çözüm oranı düştükçe bu fark artar.
İkinci sorun, tırmanma (escalation) durumlarında yapılan çift ödemedir. İnsan gücüyle yürütülen her süreçte, başarısız bir yapay zeka denemesi, insan kaynaklarının maliyetini ortadan kaldırmaz; aksine, bu maliyete ek olarak bir yük getirir. Şirket hem yapay zeka sisteminin işlemini kullanır ve ardından da sorunun çözümü için insan gücüne başvurur. Bu durum, yapay zeka sistemlerinin iş yükünü azaltarak maliyetleri düşürdüğü varsayımının tam tersidir. Belirli bir çözüm oranının altında, başarısız denemelerin maliyeti, yapay zeka sisteminin sağladığı faydayı aşar ve bu durumda yapay zeka sistemi, insan kaynakları için ek bir maliyet unsuru haline gelir. Bir ekibin bu durumun üzerinde mi yoksa altında mı olduğunu anlamak sadece başarılı sonuç başına düşen maliyeti, insan gücüyle yapılan işlemlere göre karşılaştırmakla mümkündür.
Üçüncü nokta ise, bir sonucun ticari değerinin genellikle net bir sayı olmadığıdır. Başarılı bir sonucun maliyetinin anlamlı olabilmesi için, bu sonucun ne kadar değerli olduğuna göre değerlendirilmesi gerekir. Örneğin, bir destek talebi söz konusu olduğunda, değer, insan gücünün getireceği maliyeti ifade eder ve bu maliyet bilinmektedir. Ancak, satış potansiyeli olan müşteri adaylarını belirleyen, sözleşme maddeleri taslağı hazırlayan veya güvenlik uyarılarını değerlendiren bir yapay zeka için, başarılı bir sonucun değeri, bir modelleme çalışmasıdır, basit bir veri tabanı sorgusu değildir.
Takımlar bu metriği kısmen çünkü paydanın hesaplanmasının zor olduğu ve değer tarafının daha da karmaşık olduğu için kullanmaktan kaçınıyorlar. Ancak bundan kaçınmak, ekonomik gerçeklikleri ortadan kaldırmıyor; sadece bu bilgiyi bir gösterge panelinden değil, bir finans direktörünün incelemesinde öğreniyorsunuz, böylece harekete geçmek için yeterli zaman kalabiliyor.
Bunların hiçbiri, bu metriğin önemli olmadığı anlamına gelmez. Aksine, bunlar, bu metriğin neden göz ardı edildiğini ve tam da bu nedenle, doğru şekilde çalışan bir yapay zeka sisteminin neden kapatıldığını açıklıyor.
Hayatta kalmayı belirleyen eşik
Başarılı bir sonucun maliyetini hesaplayabildiğinizde, hayatta kalma testi tek bir karşılaştırmadan ibarettir. Başarılı bir sonucun maliyeti, bu sonucun ticari değerinin altında olmalı ve yapay zeka sistemini çalıştırmanın getirdiği ek maliyetleri de karşılamalıdır.
Bir SaaS şirketinde, çözülen bir destek talebinin ticari değeri, yerini aldığı insan gücünün maliyetiydi; bu da yaklaşık 4.20 dolardı. Ancak, yapay zeka sisteminin başarılı her çözüm için maliyeti 4.79 dolardı. Bu durumda, yapay zeka sistemi her başarılı çözüme 59 sent zarar ediyordu ve genel sistemde de ek masraflar nedeniyle zarar söz konusuydu. Tartışılacak bir alan yoktu; yapay zeka sistemi kazandığı her şey için para kaybediyordu.
Bu durum, Roma İmparatorluğu’nun son dönemlerine benzerdir. İmparatorluğun sınırlarını korumak için orduya yapılan harcamalar arttıkça, vergi gelirleri de artıyordu. Ancak, bu artan vergiler halk üzerinde büyük bir yük oluşturuyordu ve ekonomik büyümeyi yavaşlatıyordu. Sonuç olarak, Roma İmparatorluğu, askeri gücünü sürdürmek için ekonomik kaynaklarını tüketmeye devam etti ve bu da imparatorluğun çöküşüne katkıda bulundu. Benzer şekilde, yapay zeka sistemlerinin maliyetlerini kontrol altına alamayan şirketler de uzun vadede başarısız olabilir.
Bu eşik değerinin bir özelliği var ve bu özellik, erken aşamalarda dikkate alınmamasının riskli olmasına neden oluyor. Ölçek büyüdükçe bu değer sizinle birlikte değil, size karşı hareket ediyor. Geleneksel yazılım dünyasındaki sezgiye göre, birim maliyetler ölçek ile birlikte düşer. Ancak, yapay zeka ajanlarında durum genellikle böyle olmuyor; çünkü her bir iş birimi, ayrı bir çıkarım işlemidir ve daha fazla sayıda işlem yaptığınız için daha ucuz hale gelmez. Eğer başarılı bir sonucun maliyeti, pilot aşamasında kabul edilebilir değerin hemen üzerinde ise, uygulamanın ölçeklendirilmesi bu durumu düzeltmez; aksine, kaybı katlar. Bu durum, çoğu ekibin kafasında bulunan SaaS ölçekleme eğrisinin tam tersidir ve bu nedenle, pilot aşamasında umut vadeden bir yapay zeka ajanı, mühendislerin fark etmesinden önce finans departmanının alarm vermesine neden olan yüz bin dolarlık bir maliyete dönüşebilir.
Üretimde kullanılan yapay zeka ajanları, en iyi kalite metriklerine sahip olanlar değil; başarılı bir sonucun maliyetinin, bu sonucun değerinin altında ve hatta üzerinde bir farkla bulunduğunu bilen ekiplerdir. Bu, değerlendirme süreçlerinde uygulanan kriterlerden farklıdır ve bu nedenle, bir yıl boyunca üretimde hayatta kalmayı başaran yapay zeka ajanlarının sıklıkla en karmaşık olanlar olmadığı görülür. Bunlar, başarılı bir sonucun değerinin, başarının maliyetini karşılayacak kadar yüksek olduğu iş akışlarına uygulananlardır.
Maliyetler kabul edilebilir sınırın altına düştüğünde ekipler ne yapar?
Kabul edilebilir sınırın altındaki bir maliyet, otomatik olarak başarısızlık anlamına gelmez. Bu, iş akışı, mimari veya uygulama kapsamının değişmesi gerektiği konusunda bir sinyaldir. Gerçek çözümler mevcuttur ve dikkat edilmesi gereken özel bir tuzak vardır.
Tarihsel bağlam: 19. yüzyılın sonlarında, sanayi devrimiyle birlikte demiryolu ağlarının genişlemesi, benzer bir durumu yaratmıştı. Başlangıçta, her yeni demir yolunun inşası yüksek maliyetlere neden olurdu ve bu da bazı projelerin ekonomik olarak sürdürülemez hale gelmesine yol açıyordu. Ancak, ağın büyüklüğü arttıkça, ölçek ekonomileri devreye girer ve birim maliyetler düşmeye başlardı. Bu durum, bazı demiryolu şirketlerinin başlangıçta zarar etmelerine rağmen, uzun vadede başarılı olmalarını sağlamıştı. Benzer şekilde, yapay zeka ajanlarının maliyeti de ilk aşamalarda yüksek olabilir, ancak ölçek ekonomileri ve optimizasyonlar sayesinde zamanla daha uygun hale gelebilir.
İlk kaldıraç, çözüm oranını etkilemeden deneme başına maliyeti düşürmektir. 2026 yılında çoğu yapay zeka destekli sistem, ortalama görevler için aşırı kaynak kullanmaktadır. Bu sistemler, kolay taleplerde olduğu gibi karmaşık olanlarda da aynı derin akıl yürütme süreçlerini ve aynı araç setini çalıştırmaktadır. Akıl yürütme derinliğini gerekmeyen görevlerde azaltmak, tekrar eden veri erişim ve araç sonuçlarını önbelleğe almak ve genellikle yardımcı olmayan durumlarda yeniden deneme sayısını sınırlamak, deneme başına maliyeti önemli ölçüde düşürebilir. Bir SaaS şirketi, bu tür çalışmalarla deneme başına maliyetini 3,40 dolardan yaklaşık 2,30 dolara düşürmeyi başarmıştır; ancak çözüm oranında herhangi bir değişiklik gözlenmemiştir.
İkinci kaldıraç ise, deneme başına maliyeti artırmadan çözüm oranını yükseltmektir. Bu sayede aynı bütçe ile daha fazla başarılı sonuç elde edilir ve başarılı bir sonucun doğrudan maliyeti düşer. Bu, yapay zeka destekli sistemin gerçek anlamda iyileştirilmesi anlamına gelir ve bu süreç yavaştır; ancak etkileri zamanla katlanarak artan bir kaldıraçtır. Roma İmparatorluğu’nun genişlemesi sırasında uygulanan stratejiler de buna benzerdir. İmparator Augustus, ordunun seferberliği ve lojistiği konusunda büyük verimlilikler sağlayarak, aynı kaynaklarla daha geniş alanlara hükmetmeyi başarmıştır. Bu, maliyetleri düşürmeden etkinliği artırmanın klasik bir örneğidir.
Üçüncü kaldıraç ise, yapay zeka destekli sistemin başarılı olduğu ve maliyetinin kabul edilebilir düzeyde olduğu talep türlerine odaklanmak ve geri kalan talepleri başlangıçta insan operatörlere yönlendirmektir. Eğer bir sistem fatura sorgularında etkili ve anlaşmazlıkların çözümünde yetersizse, sadece fatura sorgularına odaklanarak tüm sistemi olumlu hale getirmek mümkündür.
Üçüncü kaldıraç, maliyetleri düşürme tuzağının bulunduğu yerdir ve bu tuzak, bu sitedeki ayrı bir yazımda bahsettiğim şeydir. Maliyetleri düşürmenin en bariz yolu, karmaşık işlemleri daha ucuz bir modele yöneltmek veya tamamen ajandan uzaklaştırmaktır. Bu, basit bir sınıflandırıcı kullanılarak yapılırsa, değerlendirme sisteminin sonunda yakalayacağı kalite sorunlarına yol açar ve böylece ekonomik bir sorunu kalite sorununa dönüştürürsünüz. Maliyet kaldırağı ve kalite kaldırağı birbirine bağlıdır. Birini sertçe çekmeden diğerinin nasıl etkileneceğini gözlemleyemezsiniz. Bu dengeyi iyi kuran ekipler, maliyeti başarılı sonuç başına düşürmeyi, ayrı bir ayar gibi değil, kalite metrikleriyle birlikte ortak bir kısıtlama olarak optimize ederler. Üretim ölçeğinde yapay zeka destekli iş akışı otomasyonu geliştiren ekipler için, bu ortak optimizasyon gerçek mühendislik problemidir ve her iki tarafın tek metrik göstergeleri de bunu gizler.
Bu SaaS şirketi ilk ve üçüncü kaldıraçları kullandı. Başlangıçtaki maliyeti denemeden 2,30 dolara (yaklaşık 40 TL) düşürdüler, ajanın ekonomik olarak güçlü olduğu bilet türleriyle sınırladılar ve karmaşık anlaşmazlıkları, başarısız bir ajan girişiminden sonra değil, başlangıçta insanlara yönlendirdiler. Başarılı sonuç başına düşen maliyet yaklaşık 3,10 dolara (yaklaşık 54 TL) geriledi ve bu da 4,20 doların (yaklaşık 73 TL) üzerindeki değeri temsil ediyordu. Ajan, insanlarınkinden daha pahalı olmaktan, daha dar bir kapsamda kabaca yirmi beş yüzde daha ucuz hale geldi ve değerlendirme sisteminin hala onayladığı bir kalite standardını korudu. Üretimde kaldı. Hayatta kaldı çünkü sonunda hayatta kalmayı belirleyen şeyi ölçtüler ve ardından bu sayının kabul edilebilir seviyede olmasını sağlamak için dağıtımı değiştirdiler.
Aynı metrik, farklı bakış açısıyla
Maliyet Verimliliği ve Yapay Zeka Uygulamaları
Yapay zeka sistemlerinin maliyet verimliliğini değerlendirirken, “başarılı sonuç başına maliyet” metriğinin önemini vurgulamak istiyorum. Bu metrik, sadece yapay zeka ajanlarının performansını değil, aynı zamanda yatırımın geri dönüşünü de anlamamıza yardımcı olur. Özellikle, geleneksel “çağrı başına maliyet” göstergelerinin yanıltıcı olabileceği durumlarda bu yaklaşım kritik önem taşır.
Örneğin, bir hukuk operasyonları ekibi, ticari sözleşmelerdeki risk maddelerini incelemek için bir yapay zeka ajanı geliştirmişti. Bu ajan, sözleşmenin tamamını analiz ediyor, risk maddesi kütüphanesi üzerinde çeşitli değerlendirmeler yapıyor, önceki düzeltme önerilerine başvuruyor ve sonuçlarını sunmadan önce kendi analizini gözden geçiriyordu. Bu sürecin “çağrı başına maliyeti” yaklaşık 18 dolar olarak hesaplanmıştı. Ancak, bu yüksek maliyet nedeniyle, yapay zeka ajanı maliyet incelemesine tabi tutulmuş ve performansı kısıtlanma riskiyle karşı karşıya kalmıştır.
Ancak, “başarılı sonuç başına maliyet” metriği farklı bir resim çiziyordu. Yapay zeka ajanı, yaklaşık dokuz sözleşmeden birinde gerçek bir risk maddesini tespit ediyor ve bu durum avukatlar tarafından doğrulanıyordu. Bu yakalamaları dikkate alarak, her başarılı tespitin maliyeti 18 dolar olarak hesaplanıyordu. Bir risk maddesinin tespit edilmemesi durumunda ortaya çıkabilecek maddi kayıplar ise yüz binlerce hatta milyonlarca dolara ulaşabiliyordu. Hukuk ekibi, geçmişteki insan incelemelerinin kaçırdığı risklerin ne sıklıkta olduğunu kendi kayıtlarından biliyordu. Bu bağlamda, başarılı bir tespitin 162 dolara mal olması aslında çok yüksek bir geri dönüş oranı anlamına geliyordu ve bu yapay zeka uygulaması şirketin en verimli çalışmalarından biriydi.
Bu durum, Osmanlı İmparatorluğu döneminde uygulanan “devşirme” sistemine benzer bir mantıkla açıklanabilir. Devşirme sistemi, farklı etnik kökenlerden gençlerin orduda veya devlet hizmetlerinde kullanılmasını sağlayan bir uygulamaydı. Bu sistemin amacı, yetenekli kişileri tespit ederek devletin ihtiyaçlarını karşılamaktı. Ancak, bazı durumlarda bu uygulamanın maliyeti yüksek olabiliyordu. Benzer şekilde, yapay zeka uygulamalarının da belirli bir maliyete sahip olduğu unutulmamalıdır. Önemli olan, bu maliyetin sağladığı fayda ile dengelenmesidir.
Bir bakış açısına göre, bu ajan şirketin en maliyetli ajanıydı ve maliyetleri düşürme potansiyeline sahipti. Başka bir bakış açısına göre ise, bu ajan şirketin en değerli ajanıydı ve daha da geliştirilmesi gereken bir alan olarak görülüyordu. Aynı ajan, aynı harcama, ancak tamamen zıt sonuçlar elde ediliyordu ve sadece bir bakış açısı, yapılan işin gerçek değerini yansıtıyordu. Daha önce kapatılmak üzere olan bu ekip, bunun yerine iki yeni işlem türünü de dahil ederek kapsamını genişletti, daha yüksek çıkarım maliyetlerini kabul etti ve 18 dolarlık her çalıştırma maliyetini tam olarak ne olduğunu: “ucuz bir sigorta” olarak değerlendirdi.
Bu nedenle, bu metrik kalite ölçütlerinin yanında yer almalı, dipnotlarda değil. Bir ajanın çağrı başına maliyeti, şirketin ne kadar harcadığını gösterir. Sadece başarılı bir sonuca ulaşma başına maliyet, elde edilen sonuçların değerine göre değerlendirilirse, yapılan harcamanın en iyi mi yoksa en kötü yatırım olup olmadığını anlamak mümkün olur. SaaS ajanı, çağrı başına uygun fiyatlı görünüyordu ancak sonuçlar açısından pahalıydı. Hukuki ajan ise, çağrı başına pahalı görünse de, şirketin elde ettiği en iyi getirilerden biriydi. Bu gerçekler, bu metrik olmadan görülemez ve per-call gösterge paneli sizi yanıltarak, geliştirilmesi gereken ajanları kapatmanıza ve kapatılması gereken ajanları geliştirmeye devam etmenize neden olabilir.
Bu durum, Osmanlı İmparatorluğu’nun son dönemlerinde yaşanan siyasi ve ekonomik krizlere benzer bir paralelliğe sahiptir. Tanzimat Fermanı ile başlayan modernleşme çabaları, bazı kesimler tarafından desteklenirken, geleneksel yapılarla uyum sağlamakta zorlananlar tarafından eleştiriliyordu. Bu farklı görüşler, imparatorluğun geleceği hakkında derin anlaşmazlıklara yol açarken, reformların uygulanması ve kaynakların dağıtılması konusunda karmaşık sorunlara neden oluyordu. Benzer şekilde, günümüz şirketlerinde de farklı bakış açıları, hangi teknolojilere yatırım yapılması gerektiği konusunda anlaşmazlıklara yol açabilir.
Yeniden yapılandırma olmadan ölçüm
Genellikle duyduğum pratik itiraz ise, bunun ekibin zamanı olmayan bir ölçüm projesi gibi görünmesi. Ancak, aslında göründüğü kadar karmaşık değil çünkü çoğu girdi zaten kaydediliyor.
Maliyet hesaplaması için üç temel unsurun tek bir tanımlayıcı altında birleştirilmesi gerekmektedir. Bunlar; her denemede yapılan çıkarım maliyeti (sağlayıcının faturalandığı veya sistem tarafından kaydedilen değer), her denemenin sonucu etiketi (denemenin başarılı bir iş sonucuna yol açıp açmadığı, yükseltilip yükseltilmediği veya başarısız olup olmadığı) ve çok aşamalı bir denemede yer alan tüm işlemlerin tek bir işlem maliyetine dahil edilmesini sağlayan sabit bir tanımlayıcıdır. Bu sayede, aynı biletle ilgili yapılan akıl yürütme adımları, araç çağrıları ve tekrar denemeleri, gösterge panelinde birbirinden bağımsız çağrılar olarak değil, tek bir işlem maliyeti olarak toplanır. Genellikle ekiplerin henüz uygulayamadığı bu tanımlayıcı, zaten kullandığınız sistemlere küçük bir ekleme gerektirir.
Değerlendirme için her iş akışı için tek bir sayı belirlenmelidir: başarılı bir sonucun değeri, dürüstçe hesaplanmalıdır. İnsan gücünün yerini alan bir iş akışında, bu değer insan alternatifinin maliyetidir. Bir kaybı önleyen bir iş akışında ise, bu değer kendi geçmiş verilerinizden elde edilen beklenen kayıp değeridir, herhangi bir sağlayıcının referans noktası değildir. Bu sayının üç ondalık basamağa kadar kesin olması gerekmez; önemli olan, maliyete göre başarılı sonuç sayısının karşılaştırılmasının anlamlı olduğu, savunulabilir bir değer olmasıdır. Yaklaşık olsa bile dürüstçe hesaplanan bir değer, hiçbir şeyle kıyaslanamayan kesin bir maliyet sayısından daha değerlidir.
Bu veriler toplandıktan sonra, başarılı sonuç başına düşen maliyet tek bir sorgu ile bulunabilir: belirli bir zaman dilimindeki toplam işlem giderleri, bu zaman dilimindeki başarılı sonuç sayısı ile bölünür ve ardından belirlenen değerle karşılaştırılır. Bu metriği düzenli olarak takip eden ekipler, toplantılarda artık sürprizlerle karşılaşmazlar çünkü takip ettikleri metrik, toplantının asıl amacını yansıtmaktadır.
Bu bağlamda, Osmanlı İmparatorluğu’nun kuruluş döneminde uygulanan “Tımar Sistemi” de benzer bir mantıkla çalışıyordu. Tımarlar, devlet tarafından verilen gelir getirici arazilerdi ve bu arazilerin verimliliği, tımar sahibi olan kişilerin sorumluluğundadır. Devlet, tımar sahiplerinin bu arazilerden elde ettiği geliri, ordunun ihtiyaçlarını karşılamak ve diğer kamu hizmetlerini finanse etmek için kullanıyordu. Tımar sisteminin başarısı, arazi sahiplerinin verimliliğine bağlıydı ve bu da devletin genel mali dengesini doğrudan etkiliyordu. Bu sistemde olduğu gibi, günümüzdeki maliyet analizi de her bir işlemin değerini doğru bir şekilde hesaplayarak, kaynakların en verimli şekilde kullanılmasını sağlamayı amaçlar.
Eksik Olabilecek Metrik
Yapay Zeka Sistemlerinin Performans Değerlendirmesinde Maliyet Faktörü
Yapay zeka sistemlerinin davranışlarının doğru olup olmadığını değerlendirmek için kullanılan ölçütler önemlidir ve bu ölçütlerden hiçbirinin ihmal edilmemelidir. Ancak, bu sadece sorunun bir yarısıdır; üretim ekipleri aslında karşılaştığı asıl soru ise budur ve sunulan çerçeve, bu sorunun yalnızca bir kısmını bütün olarak ele almaktadır.
Tamamlanmış bir değerlendirme için ikinci bir unsur da bulunmaktadır: Yapay zeka sistemi doğru çalışıyor mu ve başarılı bir sonucun maliyeti, elde edilen faydaya değer mi? Sadece sistemin doğruluğunu ölçen ve maliyet faktörünü göz ardı eden bir değerlendirme, ileride sorunlara yol açacak yapay zeka sistemlerinin geçişine izin verebilir. Bu durum, bu sistemleri geliştiren mühendislerin, daha sonraki toplantılarda beklenmedik sonuçlarla karşılaşmasına neden olabilir.
Eğer bugün bu değerlendirme aracını yayınlasaydım, “başarılı bir sonucun maliyeti” on üçüncü bir ölçüt olurdu ve listenin en altındaki bir not gibi eklenmezdi. Bu ölçüt, “görevi tamamlama” oranının yanına yerleştirilirdi, çünkü 2026 yılında bu iki faktör birlikte, bir yapay zeka sisteminin bir yetenek mi yoksa bir yükümlülük mü olduğunu belirleyecektir. Doğruluk, sistemin görevi tamamlayıp tamamlamadığını gösterirken, başarılı bir sonucun maliyeti, bu şekilde yapılan işin değerine dair bilgi sağlar. Yıl boyunca hayatta kalacak olan yapay zeka sistemleri, her iki sorunun cevabının da “evet” olduğu sistemler olacaktır ve hangi sistemlerin bu özelliklere sahip olduğunu en hızlı öğrenmenin yolu, bu sayıyı ölçmektir.
Pratik Rupareliya, Intuz’un kurucu ortaklarından ve strateji bölümünün başıdır. 18 yılı aşkın süredir, çeşitli projelerde kurumsal yapay zeka, IoT ve bulut platformlarının kurulumunu gerçekleştirmiştir. Yapay zekanın büyük ölçekte kullanımının ekonomisi üzerine yazılar yayınlamaktadır; hangi yöntemlerin işe yaradığını, hangilerinin başarısız olduğunu ve bütçenin gerçekte nereye gittiğini anlatmaktadır.
Bu konunun tarihsel bağlamı incelendiğinde, 19. yüzyılın sonlarında yaşanan sanayi devrimi ile paralellikler görmek mümkündür. O dönemde, buhar makinesinin icadı ve yaygın kullanımı, üretim süreçlerinde önemli değişikliklere yol açmış ve yeni iş olanakları yaratırken, aynı zamanda bazı mesleklerin de ortadan kalkmasına neden olmuştur. Bu dönüşümün yönetilmesi ve toplumun adaptasyonu, dikkatli bir planlama ve maliyet analizi gerektirmiştir. Benzer şekilde, günümüzde yapay zeka teknolojilerinin yaygınlaşmasıyla birlikte, iş gücü piyasasında ve ekonomik yapıdaki değişimlerin yönetilmesi, dikkatli bir strateji ve maliyet değerlendirmesi ile mümkün olacaktır.
Kaynak: Towards-Data-Science