Küçük Bir GPT İki Geriği Biliyor Ama Onları Birbirine Bağlayamıyor.

Dil modeline “Imagine’ı seslendiren sanatçının eşi kimdir?” sorusu sorulduğunda, iyi bir model bunu doğru cevaplar; yeter ki önce sesli düşünerek ilerlesin: şarkıyı kim seslendirdi, sonra o kişiyle kim evlendi. Tek adımda, görünür bir muhakeme olmadan cevap vermesi istendiğinde ise iş biraz sarsılmaya başlar.

Balesni, Korbak ve Evans [1], bu zayıflığın ne kadar derine indiğini merak etti. Yöntemleri, modelleri uydurma gerçeklerle ince ayar (fine-tune) yapmak oldu; böylece cevap, eğitim verisinde yarı yarıya hatırlanan bir kısayoldan gelemez. İki gerçek aynı eğitim metninde yan yana geldiğinde modeller onları birbirine bağlayabiliyordu. Aynı iki gerçek ayrı metinlerden öğrenildiğinde ise doğruluk rastlantı seviyesine düşüyordu. Bu olguya İki-Adım Laneti adını verdiler.

Bu tersine çevirme laneti (Reversal Curse) hakkında daha önce yazmıştım; “A, B’dir” öğrenen bir modelin “B, A’dır” sorusunu cevaplayamaması [3]. İki-adım sürümü yakın bir akraba gibi görünüyordu ve bu makaleleri eğlenceli kılan aynı özelliği taşıyordu: Tüm sayıların görülebileceği bir ölekte her şeyi yeniden kurabilirsiniz. Ben de öyle yaptım.

Kurulum: İki gerçek, kimse sormadığı bir soru

200 özne, 200 köprü varlık ve 200 cevap uydurdum. Her özne tam olarak bir köprüne, her köprü de tam olarak bir cevaba rastgele eşleştirmelerle bağlanır. Kişi, sonra şehir, sonra ülke düşünebilirsiniz; ancak verimdeki hiçbir şey bir anlam taşımıyor, böylece model dünyaya dair bir bilgiye dayanamıyor.

Eğitim, modele bu iki bağı ayrı örnekler olarak gösterir: (özne, ilişki 1) köprüyü verir ve (köprü, ilişki 2) cevabı verir. İlgilendiğim soru ise (özne, ilişki 1, ilişki 2) cevabı verir biçimindedir. Bu soru eğitim kümesinde hiç yoktur; o, sınavdır.

İki gerçek eğitim verisinde vardır. Birleşik soru ise hiç yoktur. Resim yazar aittir.

Model, 4 katmanlı, 128 genişliğinde ve 4 dikkat başına sahip, sıfırdan eğitilen bir GPT’dir; her adımda tam eğitim kümesi üzerinde AdamW ile (öğrenme oranı 0.001, ağırlık azaltma 0.1) 2.500 adım eğitilir. Aşağıdaki her ayar üç rastgele tohumla çalıştırıldı. Doğruluk katıdır: modelin tüm sözlükteki en üst tahmini, doğru cevap belirtecini olmak zorundadır.

Veri kurulumu birkaç satırda özetlenebilir. SUBJ, BRIDGE ve ANSWER yalnızca token kimliklerinin listesi; R1 ve R2 ise iki ilişki tokenidir.

python

import

numpy

as

np

N

=

rng

=

np.random.default_rng(

)

p

=

rng.permutation(N)

# subject i -> bridge p[i]

q

=

rng.permutation(N)

# bridge j -> answer q[j]

train

=

[]

# (giriş tokenleri, hedef token)

for

i

in

range

(N):

train.append(([

SUBJ

[i], R1],

BRIDGE

[p[i))

# ilk adım

for

j

in

range

(N):

train.append(([

BRIDGE

[j], R2],

ANSWER

[q[j))

# ikinci adım

# kimlik köprüsü: seçilen bir oran için köprülere “b -> b” ekle

frac

=

0.0

chosen

=

rng.permutation(N)[:

int

(

round

(frac

*

N))]

for

j

in

chosen:

train.append(([

BRIDGE

[j,

BRIDGE

[j]))

# test: eğitimde hiçbir zaman görünmez

test

=

[([

SUBJ

[i], R1, R2],

ANSWER

[q[p[i])

for

i

in

range

(N)]

Mefkurenin görünümü

Eitim kümesinde yalnızca iki tek-adımlı tablo bulunduğundan, model her şeyi neredeyse anında ezberledi. Eğitim doğruluğu, kaydettiğim ilk kontrol noktasında (adım 100) %100’e ulaştı ve orada kaldı. İki-adımlı testte ise üç denemenin her birinde 200 sorudan 0’ını, yani 600 sorudan 0’ını doğru bildi.

Bunu bağlama oturtmak gerekirse, 200 olası cevap arasında tahmin yürüten bir model bu 600 cevabın yaklaşık 3’ünü doğru bilirdi. Hiçbiri doğruysa, ağ görünmeyen bir iki-adımlı soruda yaptığı şey cevaplar arasında tahmin yürütmek değil demektir. Bunun yerine ne çıkardığını kaydetmediğim için bunun üzerine spekülasyon yapmayacağım.

Bu, İki Adımlı Lanet’in en saf halidir. Model, ihtiyaç duyduğu her bilgiyi bilir ve tek adımlık her soruyu mükemmel şekilde yanıtlayabilir. Yine de ikisini birleştiremez; bunu nasıl yapması gerektiği gösterilmeden.

Tek satırlık çözüm

Lin, Chen ve Xu’nun yeni bir çalışması [2], böyle kurulumlarda eğitim verisinin bir şeyi eksik bıraktığını savunuyor. Modeli, ilk adımdan çıkan köprü varlığının ikinci adıma giren köprü varlığıyla aynı şey olduğu konusunda hiçbir şey bilgilendirmiyor. O olmadan, ağın her iki tek adımlık görevi de ayrı iç özelliklerle uydurabileğini ve ikisinin asla bağlanmayacağını iddia ediyorlar.

Son çözümleri kimlik köprüsü olarak adlandırılıyor: Her b köprü varlığı için, b’yi kendisine eşleyen bir ek eğitim örneği ekleyin. Bu, tek bir token giriyor, aynı token çıkıyor. Konu yok, cevap yok, bileşik soruya dair ipucu yok.

Bunun, sentetik ortamlarında bileşimi açmaya yeterli olduğunu ve olmadan bileşimin başarısız olduğunu bildiriyorlar [2]. Küçük bir değişikliğe göre bu güçlü bir iddia, bu yüzden ben de test ettim. 200 köprünün kaçına kimlik örneği eklendiğini değiştirdim: hiçbiri, %25’i, %50’si ya da hepsi. Örnek alan köprüler ile almayanlar aynı test kümesinde olduğu için, iki grubu ayrı ayrı puanlayabildim.

Aslında olan oldu

Hiç kimlik örneği almayan köprülerle başlayın. Tüm 12 çalışmada ve tüm 25 kontrol noktasında model, o test sorularının tam olarak sıfırını doğru cevapladı. %0, %25 ve %50 kapsama düzeyinde bu, son adımda sırasıyla 600, 450 ve 300 böyle test durumu anlamına geliyor ve hiçbir nokta doğru yanıtlanmadı.

Şimdi bir tane alan köprüler.

Eğitim sırasında görülmeyen bileşimler üzerinde iki adımlık doğruluk. Kimlik örneği olan köprüler (mavi) bir süre bileşimler, sonra kaybolur. Bir tane olmayanlar (turuncu) asla yapmaz. 3 tohum ortalaması; gölgeli bant, %100 ayarı için min’ten max’a aralığıdır. Resim yazarındandır.

Bileşim kısmen işe yarıyor. İlk kontrol noktamda (100. adım), örnekli köprülerdeki doğruluk, köprülerin %25’inin örneği olduğu durumda ortalamayla %25, %50’de %38 ve %100’de %35’ti. Bu, rastlantıyla elde edilecek %0,5’in ve lanetten kaynaklanan düz sıfırın çok üzerinde; model hiç bileşimli bir örnek görmemiş olsa da, bu köprülerin üçte birden fazlasını doğru yanıtlıyor.

Ama tutmuyor. İçinde herhangi bir kimlik örneği olan tüm dokuz çalıştırmada, bu köprülerdeki doğruluk ilk veya ikinci kontrol noktasında en yüksek seviyeye ulaşıyor, ardından eğitim boyunca geriye doğru kayıyor. 2.500. adımda üç ayar için bu oran sırasıyla %7, %14 ve %15’ti. %100’lük ayarda üç tohum sırasıyla %12,5, %21,5 ve %11,5 ile sonuçlandı.

Kimlik örneği olan köprülerdeki doğruluk: ilk kontrol noktası ile son kontrol noktası karşılaştırması. Hata çubukları 3 tohum üzerinde bir standart sapmayı gösteriyor. Görsel yazarın.

Sayabileceğim şey ve söyleyemediğim şey

Bu kurulum içinde sağlam: lanet tamamdır (600’ün 0’ı) ve bir köprünün bileşim üretmesiyle hiç üretmemesi arasındaki farkı kimlik örneği belirliyor. İçinde kimlik örneği olmayan her köprü, tüm çalıştırmaların tüm kontrol noktalarında başarısız oldu.

Ayrıca sağlam: benim kurulumumda bu fayda geçicidir. Etki gerçektir ancak eğitim sürdükçe aşınır.

Nedenini bilmiyorum. Denemedğim tahminim, daha uzun eğitimin ağırlığın iki tek-atımlık tablo için ayrı iç özelliklere oturmasına yol açması; ki bu, kimlik örneklerinin önlemesi gereken tam olarak durum. Ağırlık azaltma ve öğrenme hızı da rol oynayabilir; ayrıca deneyde her seferinde yalnızca bir şeyi değiştirdim, o da örnekli köprülerin oranıydı.

Okuyan herkesin önüne koyacağım iki sınır daha var. Her 100 adımda bir değerlendirdiğim için ilk 100 adımı hiç görmedim. Zirve 38%’den yüksek olabilir ve daha erken gelebilir. Ayrıca kurulumum makaleninkinden oldukça farklı. Lin ve arkadaşları, en basit ayarlarında çok daha büyük modeller (12 katman, 768 genişlik) kullanarak, daha düşük bir öğrenme hızıyla 20 dönem boyunca eğitilmiş şekilde neredeyse mükemel doğruluk bildiriyor [2]. Benimkisi ise daha yüksek bir öğrenme hızıyla 2.500 tam toplu adım boyunca çalıştırılan 4 katmanlı bir model. Yani sonuçlarım onlarınkini çürütmüyor. Yapılan düzeltmenin ne kadar ve ne kadar yoğun eğittiğinize hassas olduğunu, bunun da daha fazla konuşmadan önce doğrudan test etmek istediğim bir soru olduğunu gösteriyor.

Neden oyuncak bir model zahmete değer

Gerçek modellerde hikâye daha bulanık. Balesni ve arkadaşları da dokuz önde gelen modeli gerçek dünyaya ait bilgiler üzerinde test etti ve düşünce zinciri olmadan, üzerinde denedikleri soru kategorilerinin yarısından fazlasında tamamen başarısız olurken, yazılı muhakeme yapmalarına izin verildiğinde yine kısmen başarılı olabiliyorlar [1]. Başka bir çalışma ise, iki adımlık sorular için bir bilginin yeterince öğrenilmesinin modelin onu iki kez depolamasını gerektirebileceğini öne sürüyor [4]; bu da bunun neden zor olduğunun bir kısmını açıklayabilir.

200 varlıklı bir oyuncaktan, bunun büyük bir modelin içinde olup olmadığını söyleyemem. Oyuncak bana makalelerden nadiren ulaşabileceğim bir şeyi veriyor: kendi kendime kontrol edebileceğim kadar küçük bir deney, her bilgi için açıp kapatabileceğim bir anahtar. Anahtar kapalıyken model her zaman başarısız oluyor. Açıkken birleştirebiliyor ve eğitim bunu yine aşındırabiliyor.

Bu, açık sonraki soruyu somutlaştırıyor. Bu solma, ağırlık çürümesi mi, öğrenme hızı mı, yoksa sadece çok uzun süre eğitim mi alıyor? İlk birkaç yüze kadar her 10 adımda bir değerlendirme yapıp sonra bu iki ayarı taramaya başlardım. Sen önce sen deneyorsan, ne gördüğünü merakla dinlerim.

[1] Mikita Balesni, Tomek Korbak, Owain Evans, The Two-Hop Curse: LLMs trained on A->B, B->C fail to learn A->C (2024), arXiv:2411.16353

[2] Pengxiao Lin, Zheng-An Chen, Zhi-Qin John Xu, Unveiling the Mechanisms of Multi-Hop Reasoning in Transformers via Identity Bridge (2025), arXiv:2509.24653

[3] Lukas Berglund ve diğerleri, Tersine Lanet: “A, B’dir” biçiminde eğitilen LLM’ler “B, A’dır” bilgisini öğrenemiyor (2024), ICLR 2024

[4] David Johnston, Nora Belrose, Bilgi İçeriği Ölçeklendirmesi Üzerinden İki Adımlı Çıkarımın İncelenmesi (2025), arXiv:2502.03490