Bayesian Guardrails for AI Decisions: Measuring Uncertainty Before Automating Decisions

Bayesian Guardrails for AI Decisions: Measuring Uncertainty Before Automating Decisions

Most AI systems in production are optimized to provide an answer.

Bir sınıflandırıcı, yüksek riskli bir müşteriyi tanımlar. Bir tahmin modeli, talebi öngörür. Bir analiz aracı, pazarlama bütçesinin yeniden tahsis edilmesini önerebilir. Sonuç genellikle bir sayı veya kategori olarak görünür. Bazen doğrudan bir eyleme dönüşür.

Bu format, modelin gerçekte olduğundan daha kesin görünmesine neden olabilir. %8’lik bir büyüme tahmini doğru görünebilirken, gerçek sonuçlar düşüşten çok daha büyük bir artışa kadar değişebilir. Yüksek riskli bir müşteri, keyfi olarak belirlenmiş bir eşiğin hemen üzerinde olabilir. Görünüşte kârsız bir kampanya, hala gecikmeli dönüşleri bekleyebilir.

Bir tahmin, otomatik bir eylemi tetiklediğinde, gizli belirsizlik operasyonel riske dönüşür.

Bayes yöntemleri, tek bir tahmini değer yerine olasılık dağılımları aracılığıyla belirsizliği gösterir.

Ancak, bir gösterge panelindeki daha geniş bir aralık yeterli değildir. Sistem, bu belirsizliği kullanmalıdır; böylece ne zaman kendi başına hareket edebileceğini, ne zaman inceleme gerektirdiğini ve ne zaman durması gerektiğini belirleyebilir.

Otomasyon, belirsizliğin maliyetini değiştirir.

Her analitik sistemde, ölçülüp ölçülmediğine bakılmaksızın bir belirsizlik vardır.

Bir insan analist, harekete geçmeden önce bir gösterge panelini incelediğinde, verileri daha yakından inceleyebilir ve tamam olup olmadığını kontrol edebilir. Geçmişteki kalıplarla karşılaştırabilir ve başka bir ekipten bağlam alabilir.

Otomasyon, bu duraklamaların çoğunu ortadan kaldırır.

Bir yapay zeka sistemi, binlerce durumu değerlendirebilir ve saniyeler içinde harekete geçebilir. Bu hız, modelin güvenilir olduğu zaman kullanışlıdır. Ancak, güvenle yanlışsa, hataları katlar. NIST AI Risk Management Framework, yapay zeka risklerini bağlamsal olarak ele alır ve kuruluşların, tüm sistem yaşam döngüsü boyunca riskleri yakalamasını ve ölçülmesini önerir, böylece yönetilebilir kalırlar.

Bu, aynı tahminin riskinin farklı olabileceği anlamına gelir. Bir analiste gösterilen bir öneri, çok az etkiye sahip olabilir. Aynı öneri, fiyatları doğrudan değiştirdiğinde, envanteri, krediyi, pazarlama harcamalarını veya işgücü planlamasını etkilediğinde daha büyük bir etkiye sahip olabilir.

Yalnızca doğruluk yeterli değildir. Sistem tarafından sorumlu bir şekilde gerçekleştirilebilmesi için kalan belirsizlik yeterince düşük olmalıdır.

Tahminler gizli kararla ilgili bilgileri saklar

Çok kaynaklı pazarlama analizinde karşılaştığım kalıplara dayalı bir senaryo düşünün. Bir şirket, yapay zeka modelini kullanarak günlük olarak kampanya bütçelerinde ayarlamalar önermektedir. Model, bir kampanyanın bütçesinin artırılmasının dönüşümleri %7 oranında artıracağını tahmin etmektedir.

Tek bir tahmini değerle, karar başlangıçta açık görünebilir. Bütçe artırılır. Ancak, model önemli olasılıklara sahip birkaç olası sonuca sahip olabilir. Belki de büyük bir iyileşme için küçük bir şans ve aynı zamanda çok az değişiklik için orta düzeyde bir şans vardır. Aynı şekilde, karlılıkta düşüş riski de vardır. Bu nedenle, ortalama tahmin pozitif kalsa bile, kayıp riskinin çok yüksek olması nedeniyle bütçenin otomatik olarak artırılması güvenli değildir. Tek tahmini değer, yalnızca modelin merkezi tahminini yanıtlar. Bu, olası sonuç aralığını ve olumsuz bir sonucun olasılığını göstermez. Ayrıca, modelin yeterli ilgili verilere sahip olup olmadığını veya önerilen değişiklik yanlışsa şirketin ne kaybedeceğini de göstermez. Bunlar, bir tahmini doğrudan harekete dönüştüren tam olarak soruların önemi.

Bayes modelleri farklı bir soru sorar

Bir Bayes modeli, bir ön bilgiyi gözlemlenen verilerle birleştirerek modelin tahmin ettiği değerler üzerindeki bir arka dağılım oluşturur. Gelecekteki değerler için, arka tahmin dağılımı genellikle en önemli çıktıdır. Bu, model parametreleri hakkındaki belirsizliği gelecekteki gözlemlerdeki değişkenlikle birleştirir. Bir arka tahmin aralığı bu nedenle, modelin aslında beklediği değer aralığını tanımlar ve yalnızca bir parametrenin belirsizliğini değil. Ekonomik politika belirsizliği için Bayes hiyerarşik modelleme ve Markov Zinciri Monte Carlo kullanarak yaptığım araştırmada amaç, tek bir politika tahmini üretmek değildi. Model, belirsizliği ölçtü ve farklı ekonomik koşullar altında tahminlerin nasıl değiştiğini gösterdi. Aynı prensip, şirketler yapay zeka ile kararları otomatik hale getirdiğinde de geçerlidir. Talep modelleri, gelecekteki talepler için arka tahmin aralıkları sağlamalıdır. Ayrılma sistemleri, müşteri segmentlerinde olasılık tahminlerinin nasıl değiştiğini göstermelidir. Analiz araçları, her öneri için kanıtın ne kadar sağlam olduğunu açıklamalıdır.

Aleatorik ve epistemik belirsizlik

Pratikte, ekipler genellikle tahmin belirsizliğini iki türe ayırırlar: aleatorik ve epistemik. Aleatorik belirsizlik, verilerdeki veya onu üreten süreçteki değişkenliği yansıtır. Müşteri davranışı dalgalanır, sensörler gürültü üretir ve dönüşüm olayları gecikmeyle gelir. Benzer kullanıcılar bile aynı reklamı farklı şekilde yanıtlayabilir. Aynı kaynaktan daha fazla örnek, bu değişkenliği ortadan kaldırmaz. Bu nedenle, tahminde yer almalı ve karar bunu dikkate almalıdır. Epistemik belirsizlik, model hakkındaki sınırlı bilgi anlamına gelir; parametreler veya değerlendirilecek durumlar. Bir modelin, bir müşteri segmenti veya yeni pazar için çok az kanıt olabilir. Aynı şey, bir ürün veya belirli bir ekonomik rejim için de geçerlidir. Kendall & Gal framework, bu ayrımı Bayes derin öğrenmesinde kullanır. Pratikte, iki bileşen her zaman birbirinden açıkça ayrılamaz. Bir modelin parametreleri hakkında yeterli bilgi yoksa, tahminler gerçekte olduğundan daha kesin görünebilir. Bu ayrım hala faydalıdır çünkü ekiplere sonraki adımları belirlemelerine yardımcı olur. Yüksek aleatorik belirsizlik, değerlendirilen durumun tahmin edilmesi zor olduğu anlamına gelir. Yüksek epistemik belirsizlik, bilgi eksikliğini gösterir: sistemin tam olarak bu tür durumlardan veri gerektirebilir, teknik testler yapılabilir veya daha uygun bir model kullanılabilir. Belirsizlik otomatik olarak güvenli bir sınır değildir

Birçok yapay zeka sistemi zaten bir güven düzeyi çıktısı üretir. Bu değerlerin, kalibre edilmedikçe olasılıklar olarak değerlendirilmemelidir. Bir sınıflandırıcı, aslında karşılaştırılabilir durumlarda %90 oranında doğru olmayabileceği halde %90 güvenle bir durum belirleyebilir. modern sinir ağlarının kalibrasyonu üzerine yapılan araştırmalar, çok doğru olan bile ağların kötü kalibre edilebileceğini göstermiştir. Hatta Bayes modelleri de doğal olarak güvenli değildir. Bir arka dağılım, ön bilgiye, model yapısına, olasılığa, verilere ve çıkarım prosedürüne bağlıdır. Yanlış varsayımlar, yanıltıcı belirsizlik tahminlerine yol açabilir. Bir modelin parametreleri hakkında yeterli bilgi yoksa, tahminler gerçekte olduğundan daha kesin görünebilir. Bu ayrım hala faydalıdır çünkü ekiplere sonraki adımları belirlemelerine yardımcı olur. Yüksek aleatorik belirsizlik, değerlendirilen durumun tahmin edilmesi zor olduğu anlamına gelir. Yüksek epistemik belirsizlik, bilgi eksikliğini gösterir: sistemin tam olarak bu tür durumlardan veri gerektirebilir, teknik testler yapılabilir veya daha uygun bir model kullanılabilir. Güven otomatik olarak bir koruma sınırı değildir

Birçok yapay zeka sistemi zaten bir güven düzeyi çıktısı üretir. Bu değerlerin, kalibre edilmedikçe olasılıklar olarak değerlendirilmemelidir. Bir sınıflandırıcı, aslında karşılaştırılabilir durumlarda %90 oranında doğru olmayabileceği halde %90 güvenle bir durum belirleyebilir. modern sinir ağlarının kalibrasyonu üzerine yapılan araştırmalar, çok doğru olan bile ağların kötü kalibre edilebileceğini göstermiştir. Hatta Bayes modelleri de doğal olarak güvenli değildir. Bir arka dağılım, ön bilgiye, model yapısına, olasılığa, verilere ve çıkarım prosedürüne bağlıdır. Yanlış varsayımlar, yanıltıcı belirsizlik tahminlerine yol açabilir. Bir modelin parametreleri hakkında yeterli bilgi yoksa, tahminler gerçekte olduğundan daha kesin görünebilir. Bu ayrım hala faydalıdır çünkü ekiplere sonraki adımları belirlemelerine yardımcı olur. Yüksek aleatorik belirsizlik, değerlendirilen durumun tahmin edilmesi zor olduğu anlamına gelir. Yüksek epistemik belirsizlik, bilgi eksikliğini gösterir: sistemin tam olarak bu tür durumlardan veri gerektirebilir, teknik testler yapılabilir veya daha uygun bir model kullanılabilir. Güven otomatik olarak bir koruma sınırı değildir

Birçok yapay zeka sistemi zaten bir güven düzeyi çıktısı üretir. Bu değerlerin, kalibre edilmedikçe olasılıklar olarak değerlendirilmemelidir. Bir sınıflandırıcı, aslında karşılaştırılabilir durumlarda %90 oranında doğru olmayabileceği halde %90 güvenle bir durum belirleyebilir. modern sinir ağlarının kalibrasyonu üzerine yapılan araştırmalar, çok doğru olan bile ağların kötü kalibre edilebileceğini göstermiştir. Hatta Bayes modelleri de doğal olarak güvenli değildir. Bir arka dağılım, ön bilgiye, model yapısına, olasılığa, verilere ve çıkarım prosedürüne bağlıdır. Yanlış varsayımlar, yanıltıcı belirsizlik tahminlerine yol açabilir. Bir modelin parametreleri hakkında yeterli bilgi yoksa, tahminler gerçekte olduğundan daha kesin görünebilir. Bu ayrım hala faydalıdır çünkü ekiplere sonraki adımları belirlemelerine yardımcı olur. Yüksek aleatorik belirsizlik, değerlendirilen durumun tahmin edilmesi zor olduğu anlamına gelir. Yüksek epistemik belirsizlik, bilgi eksikliğini gösterir: sistemin tam olarak bu tür durumlardan veri gerektirebilir, teknik testler yapılabilir veya daha uygun bir model kullanılabilir. Güven otomatik olarak bir koruma sınırı değildir

Birçok yapay zeka sistemi zaten bir güven düzeyi çıktısı üretir. Bu değerlerin, kalibre edilmedikçe olasılıklar olarak değerlendirilmemelidir. Bir sınıflandırıcı, aslında karşılaştırılabilir durumlarda %90 oranında doğru olmayabileceği halde %90 güvenle bir durum belirleyebilir. modern sinir ağlarının kalibrasyonu üzerine yapılan araştırmalar, çok doğru olan bile ağların kötü kalibre edilebileceğini göstermiştir. Hatta Bayes modelleri de doğal olarak güvenli değildir. Bir arka dağılım, ön bilgiye, model yapısına, olasılığa, verilere ve çıkarım prosedürüne bağlıdır. Yanlış varsayımlar, yanıltıcı belirsizlik tahminlerine yol açabilir. Bir modelin parametreleri hakkında yeterli bilgi yoksa, tahminler gerçekte olduğundan daha kesin görünebilir. Bu ayrım hala faydalıdır çünkü ekiplere sonraki adımları belirlemelerine yardımcı olur. Yüksek aleatorik belirsizlik, değerlendirilen durumun tahmin edilmesi zor olduğu anlamına gelir. Yüksek epistemik belirsizlik, bilgi eksikliğini gösterir: sistemin tam olarak bu tür durumlardan veri gerektirebilir, teknik testler yapılabilir veya daha uygun bir model kullanılabilir. Güven otomatik olarak bir koruma sınırı değildir

Birçok yapay zeka sistemi zaten bir güven düzeyi çıktısı üretir. Bu değerlerin, kalibre edilmedikçe olasılıklar olarak değerlendirilmemelidir. Bir sınıflandırıcı, aslında karşılaştırılabilir durumlarda %90 oranında doğru olmayabileceği halde %90 güvenle bir durum belirleyebilir. modern sinir ağlarının kalibrasyonu üzerine yapılan araştırmalar, çok doğru olan bile ağların kötü kalibre edilebileceğini göstermiştir. Hatta Bayes modelleri de doğal olarak güvenli değildir. Bir arka dağılım, ön bilgiye, model yapısına, olasılığa, verilere ve çıkarım prosedürüne bağlıdır. Yanlış varsayımlar, yanıltıcı belirsizlik tahminlerine yol açabilir. Bir modelin parametreleri hakkında yeterli bilgi yoksa, tahminler gerçekte olduğundan daha kesin görünebilir. Bu ayrım hala faydalıdır çünkü ekiplere sonraki adımları belirlemelerine yardımcı olur. Yüksek aleatorik belirsizlik, değerlendirilen durumun tahmin edilmesi zor olduğu anlamına gelir. Yüksek epistemik belirsizlik, bilgi eksikliğini gösterir: sistemin tam olarak bu tür durumlardan veri gerektirebilir, teknik testler yapılabilir veya daha uygun bir model kullanılabilir. Güven otomatik olarak bir koruma sınırı değildir

Birçok yapay zeka sistemi zaten bir güven düzeyi çıktısı üretir. Bu değerlerin, kalibre edilmedikçe olasılıklar olarak değerlendirilmemelidir. Bir sınıflandırıcı, aslında karşılaştırılabilir durumlarda %90 oranında doğru olmayabileceği halde %90 güvenle bir durum belirleyebilir. modern sinir ağlarının kalibrasyonu üzerine yapılan araştırmalar, çok doğru olan bile ağların kötü kalibre edilebileceğini göstermiştir. Hatta Bayes modelleri de doğal olarak güvenli değildir. Bir arka dağılım, ön bilgiye, model yapısına, olasılığa, verilere ve çıkarım prosedürüne bağlıdır. Yanlış varsayımlar, yanıltıcı belirsizlik tahminlerine yol açabilir. Bir modelin parametreleri hakkında yeterli bilgi yoksa, tahminler gerçekte olduğundan daha kesin görünebilir. Bu ayrım hala faydalıdır çünkü ekiplere sonraki adımları belirlemelerine yardımcı olur. Yüksek aleatorik belirs