Yapay Zekâ Değerlendirmeleri Tasarımcıların Benzersiz Bakış Açısına Neden İhtiyaç Duyuyor: 5 Sebep.

Yapay zekâ değerlendirmeleri, ürün geliştirmenin en az “tasarımcı” görünen köşesi gibi görünür. Bir yapay zekâ özelliğinin gönderime hazır olup olmadığını belirleyen, yüzdelerle dolu betikler ve gösterge panelleri üzerinde çalışan testlerdir. Şirketlerin bunları mühendlere ve ürün yöneticilerine devretmesinde şaşılacak bir şey yok.

Değerlendirmeler hakkında ne kadar çok okursam, o kadar tanıdık gelmeye başlarlar. Her birinin ardında, ürünü kullanan kişi için “iyi”nin ne anlama geldiğine dair bir karar vardır. Hepsi kullanıcı deneyimiyle ilgili soruları yanıtlıyor gibi görünüyor. Yapay zekâ emin olmadığında ne yapmalı? İnsanların göze alabileceği hatalar hangileridir.

Tasarımcılar bu tür kararları her gün verirler. Ancak yapay zekâ değerlendirmelerinde, hiç dikkate alınırsak bile, kriterler başkası yaztıktan sonra söz alma şansına sahip olmaya meyilliyiz. Ne kadar felaket gibi görünse de, bu teknik olarak işlevsel ancak kullanıcılarını hayal kırıklığına uğlatan bir ürün gönderimine yol açabilir.

İşte tasarımcıların mühendlere ve ürün yöneticilerine tam yanlarında olmak üzere her zaman sürecin içinde olması için beş neden.

|

1. DAMAR VE HÜKÜM SAYILARIN ATLADIĞI ŞEYLERİ YAKALAR

Kullanıcılara doğru cevapları sunmak, değerlendirmelerde nicelendirmek en zor kalite puanı olabilir. Hatta kullanıcı puanları aldatıcı olabilir: Stanford’dan bir çalışma, insanların geri dönüş yapan cevaplerden çok iltifat eden yapay zekâ cevaplarına güvendiğini buldu.

Doğru cevabın nasıl göründüne karar vermek için, değerlendirm ekiplerinin eğitilmiş damarı ve hükmü olan bir profesyonele ihtiyacı vardır. Tasarımcılar olarak, bu nitelikleri her gün kullanıcılarla çalışarak geliştiririz. Bir ürüne insan perspektifinden bakarız, bu yüzden bir cevabı onu soran kişiye yardımcı olup olmamasına göre değerlendiririz.

Ekipler, yapay zekâyı diğer yapay zekâ çıktılarını puanlamaya eğitebilir, ancak bir damarı olan biri ona ne yapması gerektiğini öğretmelidir; tıpkı yeni bir kullanıcının anlamayacağı jargon ya da bir şikâyet karşısında neşeli bir yanıt gibi. Bu tür ayrıntılar mühendisten kaçabilir, örneğin UX/UI tasarımında bir profesyonel bunları aramayı bilir.

2. YAPAY ZEKÂ CEVABI BİLMEDİĞİNDE NE OLACAĞINA KARAR VER

Yapay zekâ, yanlış olsa bile, kendisine soru soran kişiye çok kendinden emin geliyor ve her zaman doğru cevapları veriyormuş gibi görünüyor. Bazı durumlarda sohbet botları iyi ve kötü tıbbi tavsiyeleri bir araya getiriyor ve insanlar bu ikisi arasındaki farkı ayırt etmekte zorlanıyor.

Uydurma bilgiler ve yanlış bilgiler iyi bir kullanıcı deneyimi sunmaz. Ürüne güvenilmez bir hava verir, kullanıcıları oturumları bırakmaya veya rakip bir ürüne geçmeye iter.

Yapay zekâ cevabı bilmediğinde, bunun böyle olduğunu belirtmesini ve kullanıcıyı doğru yöne yönlendirmesini isterim. Bu sayede kullanıcı, yapay zekânın o anda yardım verememiş olsa bile yine de yardım alabileceğinden emin olabilir.

Tasarımcılar yıllardır hata mesajları ve çıkışsız durumlar üzerinde çalışıyor. Bir yapay zekânın cevabı bilmemesi, sadece yeni bir çıkışsız durum. Bu kriteri değerlendirmelere eklemeliyiz: Yapay zekâ, cevabında neyin eksik olduğunu açıklamalı ve mümkünse bunun nereden bulunabileceğini belirtmeli.

3. GERÇEK KULLANICILAR HER TESTTEN DAHA KARIŞIKTIR

Tasarım alanında çalışan insanların sahip olduğu bir beceri, testleri yürütmek için doğru insan setini bulmayı bilmektir. Burada özellikle UX araştırmacılarından bahsediyorum.

Yapay zekânın bir kavram bile olmadan önce inşa ettiğimiz ürünler yoğun araştırmalar gerektiriyordu. İnsanların nasıl konuştuğunu, nasıl mırıldandığını ve bir konudan diğerine nasıl atladığını, her cevabın ne kadar benzersiz olabileceğini ve ne kadarının ruh haline, güneşin saatine ve diğer dış etkenlere bağlı olabileceğini anlıyoruz.

Bazı takımlar, yapay zekâ değerlendirmelerini sentetik kullanıcılarla test setleri oluşturarak yürütüyor. Ben bunun işe yaramayacağını düşünüyorum ve yalnız değilim: Son bir araştırmada, katılımcı araştırmacıların %88’i, yapay zekâ tarafından üretilmiş kişiliklerin kalitesi ve doğruluğu konusunda endişelerini dile getirdi.

4. DEGERLENDIRMENİN ARKASINDAKİ VARAYILIMLARI SORU ALTINA AL

Değerlendirmeler, kullanıcıların ne istediğine dair varayımlar üzerine kurulur ve nadiren yazıya dökülür. Çoğu zaman, bunlar iş hedeflerinden veya ölçmesi en kolay olandan gelir.

Örneğin, destek maliyetlerini düşürmek için bir müşteri hizmetleri sohbet botu inşa eden bir takım, insanların bir insanla konuşmak istemeyeceğini varsayabilir. Bu durumda, canlı bir temsilciye yönlendirme herhangi bir durumda başarısız bir test sayılır ve asla anyone yönlendirmeyen bot, insanlar hiçbir yere ulaşamazken en iyi skoru alır.

Eğer bir destek botuyla sürekli döngüde takılıp kaldıysanız, bazen gerçekten bir insanla konuşmak istediğiniz anlar olduğunu bilirsiniz.

Tasarımcılar olarak bu varsayımları kağıda döküp özelliği tasarlamadan önce gerçek kullanıcılarla teyit ederiz. Ben de değerlendirmeler için aynı şeyi yapmanızı öneririm.

5. BAZI DEĞERLENDİRME SORUNLARI TASARIM SORUNLARI

Değerlendirmeler başarısız olduğunda ilk tepki genellikle promptu ayarlamak veya modeli değiştirmektir. Bazen doğru karar bu olsa da, bazen sorun kendisi üründür.

Yirmi yılı aşkın deneyime sahip ve şu anda AI değerlendirmeleri öğreten makine öğrenimi mühendisi Hamel Husain, bu yazı şunu yazdı: Bir AI’nın yanıtları bir ekip için kontrol etmek zınsa, çoğu zaman kullanıcılar için de öyledir.

“Gelecek Cuma” yazan bir kullanıcının iki farklı günü kastetmesi nedeniyle yanlış tarihi rezerv eden bir yolculuk asistanını düşünün. Daha iyi bir prompt bunu düzeltmez, ancak kullanıcıdan kesin tarihi onaylatmak düzeltir. Böylece yanıtı kontrol etmek kolaylaşır. Bu bir tasarım karardır.

Bu tür sorunları kullanılabilirlik testlerinde yakalarız. Bu yüzden bir ekip başka bir hafta promptları iyileştirmeye harcamadan önce, başarısız vakaları gözden geçirmesi için bir tasarımcıya başvurmayı isterim.

SON DÜŞÜNCELER

Mühendisler ve ürün yöneticileri AI değerlendirmelerini çalıştırmaya devam edecek, çünkü etmelidirler. Ancak bu değerlendirmelerin arkasındaki kararların çoğu, ürünü kullanan insanlarla ilgilidir. Kullanıcıları en iyi bilen profesyoneller arasında tasarımcılar da değil mi?

Tasarım liderlerine tavsiyem, değerlendirme kriterleri kesinleşmeden önce bunları yazmalarına yardımcı olmaktır. Nitekim, kullanıcıların göze alabileceği hataları belirlemek de bizim işimizdir.

Arin Bhowmick, SAP’nin baş tasarım sorumlusudur.