Makineleri Dinleyebilecek Şekilde Üreten Teknoloji.

Paris Smaragdis, konuşma tanıma, müzik anlama ve çevre izleme gibi alanlarda insanüstü işitme yeteneğine sahip bilgisayarlar geliştiriyor.

Adam Zewe

|

MIT News

Yayın Tarihi

Basın İletişimi:

Abby

Abazorius

E-posta:

Telefon:

617-253-2709

MIT News Ofisi

Medya İndirme

↓

Açıklama

Smaragdis araştırma grubu, ses kaynaklarının ayrıştırılması için makine öğrenimi, insanların sesli çevresini zenginleştirebilen akıllı cihazlar ve insanların müziği anlamasına, işlemesine, analiz etmesine ve yaratmasına yardımcı olacak daha iyi araçlar gibi alanları inceliyor.

Kaynak

↓

Açıklama

Sunum algısını geliştirmek için Paris Smaragdis, makinelerin insanlardan daha iyi duyup sesleri anlamasını istiyor.

Kaynak

↓

Açıklama

Grecede büyüyen Smaragdis, genç bir yaşta klasik gitar çalmaya başladı. Geleneksel eserler çalmaktan hoşlandı, ancak babasının eve küçük bir sentezleyici getirdiği anda müzik yolculuğunda bir dönüm noktasına ulaştı.

Kaynak

*Kullanım Şartları:

MIT News Ofisi web sitesinde indirilebilen görseller, ticari olmayan kuruluşlara, basına ve genel halka
Creative Commons Atıf-Ticari Olmayan-Dövülmemiş lisansı altında sunulmaktadır.
Aşağıda sağlanmadığı takdirde, görselleri boyutlandırmak dışında değiştiremezsiniz. Görselleri yeniden üretirken bir kaynak belirtisi kullanılmalıdır;
bu durumda görseller “MIT” olarak belirtilmelidir.

Görsel Kaynağı: MIT News

Açıklama

Smaragdis araştırma grubu, ses kaynaklarının ayrıştırılması için makine öğrenimi, insanların sesli çevresini zenginleştirebilen akıllı cihazlar ve insanların müziği anlamasına, işlemesine, analiz etmesine ve yaratmasına yardımcı olacak daha iyi araçlar gibi alanları inceliyor.

Kaynak

Yarışma katılımcısı ve seri listelerinde yer almayan bu bölümde, bir sopanın sesiyle birlikte kalabalıktan gelen çığlığın, bir beyzbol hayranının dikkatini çekmesi mümkün; üstelik evden vuruşu görmeseler bile.

Sunum yapay zeka algısını geliştirmek isteyen MIT Profesörü Paris Smaragdis SM ’97, PhD ’01, makinelerin sesleri insanlardan daha iyi dinleyip anlayabilmesi için çalışıyor.

İnsanüstü bir işitme yeteneğine sahip bir makine, fren seslerini ve ezilen metali dinleyerek bir trafik kazasının yerini hızla tespit edebilir veya jeotermal kuyu kazarken yoğun kayaç içinden delici bir makinenin ne zaman kırılabileceğini belirleyebilir.

“Aynı şeyi yapıyorum, görüntü işleme uzmanlarının yaptığı şeyi; ancak ben bunu işitme için yapıyorum,” diyor Smaragdis. İnsan Bilimleri, Sanat ve Sosyal Bilimler Fakültesi’nde Müzik ve Tiyatro Sanatları programının bir profesörü olarak MIT Schwarzman Hesaplama Fakültesi ile Elektrik ve Bilgisayar Bilimleri Bölümü arasında paylaşımlı bir pozisyona sahip.

Araştırma grubu, ses kaynak ayrıştırması için makine öğrenmesi, insanların ses ortamını zenginleştirebilen akıllı cihazlar ve insanların müziği anlamalarına, düzenlemelerine, analiz etmelerine ve yaratmalarına yardımcı olacak daha iyi araçlar gibi alanları inceliyor.

“Müzikal bir geçmişim olduğu için bu fikirleri inceleme ilgisi besliyorum. Makinelerin sesi anlaması için ne gerekli? Dinleyebilen makineler için devasa bir uygulama alanı var,” diyor Smaragdis; 2025’te MIT’ye katıldı ve ayrıca Müzik Teknolojisi programının bir üyesi ile Elektronik Araştırma Laboratuvarının bir üyesi.

Müzikal bir ön söz

Grekistan’da büyüyen Smaragdis, genç bir yaşta klasik gitar çalmaya başladı. Geleneksel parçalar çalmaktan keyif aldı, ancak müzikal yolculuğunda bir dönüm noktası, babasının evine küçük bir sentezleyici getirdiği anda geldi.

Görsel Kaynak: MIT News

Sunum yapay zeka algısını geliştirmek isteyen Profesör Paris Smaragdis, makinelerin sesleri insanlardan daha iyi dinleyip anlayabilmesi için çalışıyor.

“Bu küçük sentezleyicide, kendi seslerinizi oluşturmanıza olanak tanıyan bir işlev vardı ve ben de bu olanaklara tamamen kapıldım,” diyor.

Sentezleyiciler 1980’lerde pop müziğinde daha öne çıkan bir yer edinirken, bu durum teknolojiye olan hayranlığını da besledi.

School’da ilerledikçe Smaragdis, sentezleyicilerle yapılan müziği çalışmak istedi. Ancak bu, o dönemde daha geleneksel Avrupa konservatuvarlarının sunduğu bir eğitim yolu değildi.

Bunun yerine Boston’daki Berklee Music College’e, bilgisayar ve sentezleyicileri kullanarak sesi biçlendirme ve dönüştürme olanaklarını keşfedebileceği bir programa kaydoldu.

“Bilgisayar ve sentezleyicilerle, daha önce hiç duyulmamış yeni sesler yapabilirdim,” diyor.

Aynı zamanda Smaragdis, jazz fusion alanına derinlemesine daldı. Berklee’de bası ana dalı olarak belirtti çünkü bu ona jazz topluluklarıyla çalma konusunda daha fazla olanak sağlardı.

“Bası, gitarın ses açısından daha ilginç buldum. Daha az keşfedilmiş bir alandı ve ben hep keşfedilmemiş alanlara doğru hissettim,” diyor.

Bu keşfedilmemiş alanlara olan ilgi, ders çalışmalarına da yansıdı. Elektronik prodüksiyon ve tasarım profesörü olan hocaları Richard Boulanger ile birlikte, insanların bilgisayarı müzik yazmak, prodüksiyonunu yapmak ve geliştirmek için kullanmalarına yardımcı olacak yeni araçlar geliştirdi.

Berklee’deki çalışmalarının bir parçası olarak Smaragdis, müzik üretimi için sentezleyici yazılımlar oluşturmak amacıyla MIT Media Lab’deki Profesör Barry Vercoe (2025’te vefat etti) ile ortak bir projeye başladı. Bu projeye dayanarak Smaragdis, Vercoe’nun grubunda lisansüstü çalışmalarına devam etti; yüksek lisansını ve doktora derecesini tamamladı, ardından bir de postdoc yaptı.

“Media Lab’de müziğin bilgisayar kısmına daha fazla maruz kaldım. İlencim de biraz oraya kaydı. Artık gerçekten sesi anlayabilen bilgisayarlar yapmak istiyordum,” diyor.

Keşfedilmemiş alanlara kulak vermek

Bu sırada, Medya Laboratuvarı’ndaki birçok öğrenci sesin makineler tarafından işlenmesine yardımcı olmak için sinyal işleme tekniklerini kullanıyordu. Smaragdis ise kendisini kalıptan ayıracak şekilde daha az keşfedilmiş bir yaklaşım—makine öğrenimi—seçti.

Sesin anlaşılması için makine öğrenimi modellerinin eğitilmesinin, geleneksel sinyal işleme teknikleriyle ulaşılamayacak avantajlar sunduğunu gördü.

“Zamanla, bilgisayarlara nasıl dinleyeceklerini öğretmemiz gerektiği konusunda gerçekten netleşti. Onlara nasıl dinleyeceklerini söyleyemeyiz. Hatta, biz insanların nasıl dinlediğimizi bile bilmiyoruz,” diyor. “Dinlemenin ne anlama geldiğini açıklamaya ya da bir kedinin mırıltısı ile bir viyolonın sesini birbirinden ayırmaya nasıl çalışacağımızı açıklayacak bir sözcük havumuz yok.”

Postdoc çalışmalarını tamamlayan Smaragdis, Mitsubishi Electric Research Labs’de kariyerine başladı; burada ekran üzerinde ne olduğunu anlayabilen ve video ses kayıtlarını tarabil yapay zekâ sistemleri üzerinde çalıştı.

“Ya tüm bir futbol maçını kaydedersiniz ama yalnızca öne çıkan anları izlemek istersiniz? Bilgisayarlı görüde, bir öne çıkan anın ne olduğunu belirlemek çok zordur. Öte yandan, yalnızca sesleri dinlerseniz, kalabalık coştuğunda ilginç bir şeylerin olduğu anlaşılır,” diyor.

Bu sistem, sonunda Mitsubishi’nin o dönemde geliştirdiği kişisel video kaydetme sisteminin yanı sıra trafik izleme sistemleri ve cep telefonları gibi elektronik cihazlara dahil edildi.

Smaragdis daha sonra Adobe’ye katıldı ve burada uzmanlığın az bile yeterli olduğu, sanatçıların, müzisyenlerin ve yapımcıların sesi kolayca kullanabilmelerini sağlayan kullanıcı dostu araçları geliştiren ses araştırma ekibini kurdu.

“Bu çalışmayı yaparken, çözülmesi gereken daha derin teknik sorunlarla karşılaşıyordum. Bu merakı gidermek için akademiye döndüm,” diyor.

Smaragdis, Illinois Üniversitesi Urbana-Champaign kampüsündeki fakülteye katıldı; burada kendisi ve ekibi, ses işleme sistemlerine en güncel makine öğrenimi tekniklerini dahil etti.

Teknolojilerinden biri, ses karışımlarından bireysel sesleri ayırmak için sinir ağlarını kullandı. Bu proje, 2021 yapımı belgesel mini dizisi “The Beatles: Get Back” üzerinde çalışan ekibin dikkatini çekti.

Yapım ekibi, arşivdeki Beatles kayıtlarını temizlemeye yardımcı olmak için Smaragdis’i işe aldı.

“Bu, akademik ortamda yaptığım ses işlemenin çok farklı bir wayıydı. Şimdi kağıt üzerinde güzel görünmek zorunda olmadan iyi sounding bir şey yapmak zorundaydım. Optimize edebileceğimiz bir formülümüz yoktu,” diyor.

Her kayıt farklı zorluklar içeriyordu. Örneğin, bir klipte John Lennon müzik çalırken Paul McCartney taklitler yapıyor, gazetelerden manşetleri okuyor ve George Harrison’la alay ediyordu.

“Her sorunu ayrı ayrı çözmek yerine, her şeyi yapmamıza yardımcı olabilecek bir teknolojik çözüm üretmeye çalışıyorduk,” diyor.

Katkıları, ekibin 2022’de kurgu dışı ya da reality program kategorisinde ses kurgusu için bir Emmy Ödülü kazanmasına yardımcı oldu.

Toplu bir çaba

University of Illinois’deki 15 yıllık çalışmalarının ardından Smaragdis, alanda ortaya çıkan zor, disiplinler arası sorunlarla başa çıkmak için MIT’de öğretim üyesi olmaya karar verdi.

Grubu artık iki ana alanda odaklanıyor. Bunlardan biri, bilgisayarları müzisyenler için daha kullanışlı araçlar haline getiren sistemler geliştirmek.

Bu alandaki projelerden biri, makinelerin müziği nasıl dinleyeceklerini anlamalarını sağlayarak müzisyenlere yapıcı geri bildirim verebilmelerini sağlamak.

“Bir müzisyenin elindeki alet çantasını geliştirmek istiyoruz. Bilisyayları müzisyenleri değiştirmek için kullanmak istemiyoruz,” diyor.

Diger taraftan, grubu bilim insanlarının ve sanatçıların sesleri işlemek, analiz etmek ve dönüştürmek için kullanabileceği temel araçlara odaklanıyor.

Gorsel Kaynagi: MIT News

Grekida büyüyen Smaragdis, genç bir yaşta klasik gitar çalmaya başladı. Geleneksel parçaları çalmaktan keyif alıyordu, ancak babasının evine küçük bir sentezleyici getirmesiyle müzikal yolculuğunda bir dönüm noktasına ulaştı.

Bu arada ekibi, örneğin son zamanlar numune alma hızları, çerçeve boyutları veya bağlam penceresi gibi geleneksel referans çerçevelerinin sabit olmadığı ya da tanımlı bile olmadığı, gelişmiş sinyal işleme sağlayan algoritmaları inceliyor.

Bu, daha verimli işleme potansiyeline rağmen, henüz keşfedilmemiş farklı hesaplama yapılarını çağırıyor, diyor Smaragdis.

“Bu, temellerin çoğunu yeniden düşünmeyi gerektiriyor ama bu yeteneğe sahip olduktan sonra, çok daha esnek ve daha güçlü sistemler üretmeye başlayabilirsiniz,” diye ekliyor.

Aynı zamanda son teknikleri, büyük dil modelleri gibi, ses tanıma ve ses iyileştirme içine dahil etmenin yollarını da inceliyor.

“Yapay zekâ muazzam derecede güçlü bir araç ama ses ve müzik için onu kullanmanın ideal yolunu henüz bulamadığımızı düşünüyorum,” diyor.

Aynı zamanda öğrencilere mentorluk yapmaktan ve onlara araştırma projeleri için vizyonlarını somutlaştırmalarında yardımcı olmaktan hoşlanıyor.

Öğrencilerinin çoğunun sesle hesaplama kullanma deneyimi olmadığı için, deneyime dayalı derslere vurgu yapıyor böylece denklemlerin nasıl somut bir şeye dönüştürüldüğünü görmelerini ve almalarını sağlıyor.

Smaragdis, müzik yapmaktan hala bir coşku hissediyor, ister bir bilgisayarla ister daha geleneksel bir enstrümanla. Kampüs dışında, zaman bulabildiği her an caz basını çalmaya çalışıyor ve zengin müzikal topluluğu Boston’un karısıyla ve 15 yaşındaki oğluyla keşfetmekten hoşlanıyor.

Müzikal alanın dışında, su altı hokeyi oynuyor ve koçluk yapıyor — oyuncuların dalış maskeleri taktığı ve ağır bir diski bir havuzun dibinde rakiplerinin kalesine doğru sopalarla ittiği bir spor. Illinois Üniversitesi’ndeki su altı hokeyi takımına koçluk yaptı ve MIT su altı hokeyi kulübünü yakında canlandırmayı ve kampüste turnuvalar düzenlemeyi umuyor.

Su altı hokeyi bilinmeyen bir spor olsa da, Smaragdis’in keşfedilmemiş olanı takip etme konusundaki ömür boyu süren ilgisiyle uyumlu.

“Her zaman başkalarının yaptığından farklı şeyler yapmayı sevdim. Dinlenmemiş yeni bir ses yaratabilirseniz, bu sizin yeni şeyler yaratma yeteneğiniz hakkında ne ifade eder? Bu sorular bana hâlâ tamamen büyüleyici geliyor,” diyor.

Bu haber makalesini paylaşın:

• X

İlgili Bağlantılar

• Paris Smaragdis
• Müzik Teknolojisi
• Müzik ve Tiyatro Sanatları
• Elektronik Araştırma Laboratuvarı
• Elektrik Mühendisliği ve Bilgisayar Bilimleri Bölümü
• İnsan Bilimleri, Sanatlar ve Sosyal Bilimler Fakültesi
• Mühendislik Fakültesi
• MIT Schwarzman Hesaplama Fakültesi

• Profil
• Akademik Kadro
• Bilgisayar bilimi ve teknoloji
• Yapay zekâ
• Sanatlar
• Makine öğrenimi
• Müzik
• Müzik teknolojisi
• Elektrik Mühendisliği ve Bilgisayar Bilimleri (EECS)
• Mühendislik Fakültesi
• MIT Schwarzman Hesaplama Fakültesi
• İnsan Bilimleri, Sanatlar ve Sosyal Bilimler Fakültesi
• Elektronik Araştırma Laboratuvarı