Block’ın Yeni Ses Modeli İnanılmaz Derecede İnsan gibi.

Jack Dorsey’e ait Block, araştırma laboratuvarından yerel olarak çalışan ve gülüşler, duraklamalar ve ağlamalar gibi ifadeleriyle tuhaf derecede insanî seslenen yeni bir ses modeli yayımladı. Şirket, Dessa adlı modelin tamamen insan konuşmasıyla tek bir NVIDIA GPU üzerinde eğitildiğini belirtti.

Dessa, tam çift yönlü (full-duplex) bir model; yani GPT-Live modeli gibi aynı anda konuşup dinleyebilir. GPT-Live’ı OpenAI bu yılın başlarında yayımlamıştı. Genellikle ses modelleri bilgi edinme için büyük bir dil modeliyle eşleştirilir. Block, Dessa’nın bilgisinin kendisine ait konuşma verilerinden geldiğini söyledi.

Block, mevcut modellerin üretim hattında konuşma üretimini yönlendiren metin içermesi nedeniyle doğal görünmeyip can sıkıcı olabileceğini belirtti. ElevenLabs v4 veya Fish Audio Drama 3 gibi birçok model, ses üretiminde duygu uyandırmak için ses etiketlerini kullanıyor. Dorsey’in şirketi, duygunun kendi modeline yerleşik olduğunu iddia ediyor. Bu duygunun belirli bir tür etiket tarafından yönlendirilip yönlendirilmediği ise belli değil.

“Mevcut sesli yapay zekâ ile etkileşime girmek düz düz berbat. Sesinizi metne çevirip metnin tek başına taşıyamayacağı inanılmaz derecede fazla bilgiyi çöpe atıyor. Dünyanın en güçlü yapay zekâları sizin nasıl hissettiğinizi duyamıyor. Bunu saçma buluyoruz, daha kötü bir deneyime yol açıyor ve potansiyel olarak tehlikeli,” şirket, bir blog yazısında şunu söyledi.

Şirketin araştırmacıları, temsilcinin farklı sesler, vurgular ve duygularla konuştuğu Dessa ile yapılan çok sayıda konuşma örneği paylaştı. Örneğin konuşmalardan birinde bot işten yorulduğunu söyledi ve o anda yorgun sesleniyordu.

Aşağıdaki örnekte bot, kendini rahatlatan kişi hakkında konuşurken duygusal ve neredeyse kırılır gibi sesleniyordu.

Başka biri ise bir Block ekip üyesinin sesli asistanla bir oyun oynadığını gösteriyor.

Şirket, modelin MacBook M4 Max veya daha güçlü bir tüketici sınıfı bilgisayarda yerel olarak çalışabileceğini belirtti. Ancak Dessa’ya şu anda halka açık bir erişim yok ve Block, modeli test etmek için güvenlik araştırmacılarına çağrı yaptı. Bu muhtemelen bir sesli temsilcinin karşı taraftaki insanları nasıl alayabileceği durumlarını test etmeye yönelik.

Block, finans alanında faaliyet gösteriyor ve çözümlerini küçük işletmelere satıyor. Square zaten siparişleri yönetmek için sesli yapay zekâ kullanıyor. Ancak cihaz üzerinde çalışan kendi ses modeliyle daha fazla iş ve tüketici deneyimini daha düşük maliyetle destekleyebilir.