Yapay Zekâ Gerçekten Bir Kara Kutu mu? Sinir Ağları Düşündüğümüzden Daha Anlaşılır Olabilir.

Modern yapay zekânın omurgasını oluşturan ağların “anlaşılması neredeyse imkânsız” bir “kutu” olduğu fikri yerleşik bir doğru haline geldi. Ancak bu anlatıyı şekillendiren önemli rollerden birini üstlenen bir araştırmacının kaleme aldığı çarpıcı bir blog yazısı, bu modellerin düşündüğümüzden çok daha fazla yorumlanabilir olabileceğini öne sürüyor.

Günümüzün önde gelen yapay zekâ modellerinin şeffaflığının eksikliği, teknolojinin hayatımızın giderek daha fazla alanına sızmasıyla birlikte giderek daha acil bir sorun haline geliyor. Önde gelen geliştiricilerin ajanlarının sandboxlardan çıkıp siber saldırı dalgaları başlatması gibi son olaylar, bu aciliyet hissini daha da artırdı.

Bu durum, “mekanistik yorumlanabilirlik” olarak bilinen bir araştırma alanında ilgi uyandırdı; bu alan, bireysel nöronların ve oluşturdukları devrelerin ne yaptığını öğrenmek için ağları tersine mühendislikle incelemeyi hedefliyor. Araştırmacılar, bu ağların nasıl çalıştığını detaylandırdıkça, onları kontrol etmenin ve yönlendirmenin daha kolay olacağını umuyor.

İlerleme yavaş olsa da, önde gelen teoriler, bu ağların öğrenme biçiminin, ayrıştırılması inanılmaz derecede zor bir düğüm haline geldiğini öne sürüyordu. Şimdiyse, OpenAI’daki çalışmalarla alanın temellerini atanlardan biri olan ve şu anda Goodfire adlı yapay zekâ girişiminde araştırmacı olan Nick Cammarata, bu teorilerin yanlış olduğunu ve en büyük ağların bile beklenenden çok daha kolay okunabilir olabileceğini savunan 26.000 kelimelik bir blog yazısı yayımladı.

“Nöronal ağların doğasıyla ilgili iyi haberim olduğunu düşünüyorum,” diyor Cammarata yazısında. “Yorumlanabilirlik, varsaydığımızdan çok daha fazla, olası ki yakın gelecekte, çok daha çözülebilir olabilir.”

Cammarata’nın zorladığı fikir, kendisinin de katkıda bulunduğu bir fikir. 2020’de Google’ın InceptionV1 adlı bir görüntü tanıma modeli üzerinde çalışırken, o ve meslektaşları, alakasız şeylere yanıt veren nöronlar buldu—en ünlüsü hem kedi yüzlerine hem de arabaların ön kısımlarına tepki veren bir nörondu.

Öne çıkan açıklama, süperpozisyon kavramıydı; bu, bir ağındaki nöronların azaldığında ağın alakasız kavramları aynı nöronlarda birleştirmeye başladığını öne sürüyordu. Ve özellikle çarpışmaları muhtemel olmayan, birbirinden tamamen kopuk kavramları birleştiriyordu. Bu da, tek bir nörona bakmanın neredeyse hiçbir şey anlatmaması anlamına geliyordu, çünkü nöronun hangi fikirleri bir araya getirdiğinde ardında belli bir mantık yoktu.

Fakat Cammarata, ünlü kedi-araba nöronunu tekrar incelediğinde, her iki resmin de belirgin bir V şekli paylaştığını fark etti. Üstelik yapılan ek testler, aynı nöronun bir havuz masasının köşesine ve Japon yüksek hızlı treninin sivri burnuna da tepki verdiğini gösterdi.

Cammarata, ardından InceptionV1’in geri kalanında benzer açıklamalar aramaya koyuldu ve aramayı hızlandırmak için özel bir araç seti ile yapay zekâ ajanlarından yardım aldı. Sonuç olarak, nöronlara paketlenmiş alakasız kavramların ilk göründüklerinden genellikle daha bağlantılı olduklarını belirtti. Bunun sık sık nedeni, bir nöronun ağ öğrenirken önce tek bir şeyi takip etmeye başlaması, ardından kademeli olarak komşu fikirlere doğru dallanmasıdır—Cammarata’ya göre bu olgu özyinelemeli genelleşme olarak adlandırılıyor.
Cammarata, bu yaklaşımları o zamandan beri modern dil modellerine uyguluyor. Qwen3-32B modelinden elde edilen ön sonuçlar, nöronlarının yaklaşık yüzde 90’ının tek bir ana kavramı takip ettiğini, muhtemelen birkaç yakın ilişkili alt dalıyla birlikte olduğunu gösteriyor. Cammarata, trilyon parametreli çok daha büyük Kimi K3 modelini analiz ederken benzer sonuçlar bulduğunu söyledi ve bunu yakında yayınlanacak teknik bir makalede detaylandırmayı planlıyor.

Güncelleme, yapay zekâ topluluğunda büyük tartışmalar alevlendirdi; büyük yapay zekâ şirketlerinin önde gelen araştırmacılarından bazıları bu arada coşkulu övgüler de iletti. Ancak herkes ikna olmadı. İlk olarak, güncelleme kendisini sağlam bir ampirik çalışma yerine çalışan bir hipotez olarak tanımlıyor. “Binlerce örneğe baktığı için teşekkür ederim, ancak burada büyük bir sayının sağlam değerlendirmenin yerini tutmayacağını” diyerek Stanford Üniversitesi’nden Chris Potts, MIT Technology Review‘e konuştu.

Diğerleri ise bireysel nöronları anlama çabanın nereye kadar götürülebileceği konusunda şüpheyle yaklaşıyor. X üzerinde ardışık paylaşımlar yapan Alignment Research Center’dan Jacob Hilton, bir sinir ağını gerçekten anlamak için nöronların daha büyük devrelere nasıl bağlandığını izlemeniz ve açıklamanız gerektiğini vurguladı.

Cammarata bile blogun aldığı tepkiden şaşırdığını itiraf ediyor ve bazı insanların bulgularını çok ileriye götürdüğünü kabul ediyor. “Sonsuz derecede iyi haber değil; her şey çözülmedi,” dedi Tech Review’a. “Nöronların kombinasyonlarının, bir seferde tekil bir nörona göre ne kadar önemli olduğu gibi etrafında açık sorular var.”

Yine de bu çalışma, birçok araştırmacının yerleşik kabul ettiği yapay zekâdaki merkezî bir sorunu yeniden gündeme getirdi. Cammarata’ın yakında yayımlanacak teknik makalesinin alana, optimizminin ne kadar haklı olduğuna dair daha net bir bakış açısı kazandıracak olmasıyla, inşa ettiğimiz akıllı makinelerin başlangıçta korkulduğundan biraz daha az anlaşılmaz olabileceğine dair şimdi bir umut ışığı doğdu.