Codex ile Yazmak İçin Bir İddia Doğrulama Ar Kurdum; Yanlış Bir İddiyi Onayladı.

Teknik sonuçların nasıl ifade edildiği konusunda dikkatlice düşünmek zorunda kaldım, özellikle bir cümle daha temiz seslenmesi için yeniden yazıldığında. Gördüğüm kolay hatalardan biri, hatada %20’lik azalmayı doğrulukta %20’lik artışa çevirmekti. Hatada %20’lik bir kesinti, küçük kalan bir sayıyı küçültür, bu yüzden doğruluk kendisi ancak zorlukla değişir. Sayı yeniden yazının üstünden sağ çıkar, ama tarif ettiği şey tamamen değişir.

Bu tür bir hata, cümlede yerinden olmuş hiçbir şey olmadığı için hızlı bir okumadan sağ çıkacak kadar inceliktir. Hatırlama (recall) sessizce doğruluğa dönebilir, bir sayı on puan kayabilir ya da gözlemlenen bir ilişki, daha derli toplu bir cümleye doğru giderken nedensel bir fiil kapabilir. Evidence Desk‘ın yakalamama yardım etmesini istediğim hata türü bu.

Evidence Desk, Codex ile birlikte inşa ettiğim bir tarayıcı aracıdır. Ona bir taslak ve taslağın geldiği kaynak dosyalarını verirsin, o da taslağı iddialara böler. Her iddia için kaynaklardaki en yakın paragrafı bulur ve onun üzerinde birkaç açık kontrol çalıştırır; üç etiketten birini döndürür: Desteklenen, Olası uyumsuzluk veya Yetersiz kanıt.

Codex’i arayüzü, kontrol mantığını, testleri ve zaten aklımda olan iş akışının etrafındaki uygulamanın geri kalanını uygulamaya yardımcı olmak için kullandım. Benim tarafımdaki iş, aracın neyi kontrol etmesi gerektiğine karar vermek ve davranışının bu hedefle uyumlu olup olmadığını gözden geçirmekti.

Yukarıdaki hatayla doğruluk örneği, aracın dahili kurgusal örneklerinden gelir; Meridian adlı uydurma bir sınıflandırıcı etrafında döner ve aynı zamanda böyle bir aracın nereye kadar güvenilir olduğunun en net resmini de ortaya koyar.

Kontrol etmek, yazmaktan farklı bir iş

İyi yazan bir model, makul metin hedefler. Kontrol ise bir ilişki hakkında sorar: Bu kanıt kümesi, iddia dediği şeyi gerçekten söylüyor mu? Bu, iddianın doğru olup olmadığından daha küçük bir sorudur. Bir kaynak yanlış olabilirken bir iddia ona sadık kalmaya devam edebilir ve teknik yazımda sadakat bölümü genellikle ilk darbeyi vuran olandır.

İkinci bir modele ilkini gözden geçirmesini isteyebilirsin ve bu iyi çalışabilir. Ona karşı argüman yürütüyorum değilim. Gördüğüm ödünleşim şudur: hakem de üretimseldir ve hükmü, tartışabileceğin bir gerekçe olmadan gelebilir. Evidence Desk bunun yerine daha dar yolu seçer ve her uyarı, üzerine dayandığı paragraf ve bir gerekçeyle gelir, böylece yazarın geri döndüreceği belirli bir şey olur.

Peypleyinn

İddia çıkarma bilinçli olarak hamdır. Cümle sınırlarında ve boş satırlarda böler, başlıkları ve beş kelimeden az olan her şeyi atar ve en fazla 40 adayı korur. Bütün bunlar tarayıcıda çalışır ve gözden geçirme yolu ağ istekleri yapmaz.

Yüksek bir puan çok azını kanıtlar

Alıntıma (retrieval) düz sözcük örtüşmesidir, burada gösterilecek kadar kısadır (evidence.ts‘dan özetlenmiş, değişmemiş davranış):

0.25’te bir paragraf hiç kanıt sayılır ve 0.48’de bir iddia Desteklenen olarak adlandırılabilir. Her iki eşik de el ile ayarlanmıştır, kalibre edilmemiştir. Bu bir sözcük oranıdır, anlam benzerliği değil ve kesinlikle iddianın doğru olma olasılığı değildir.

Meridian doğruluk iddiası bunun neden önemli olduğunu gösterir. Hata paragrafına karşı 86 puan alır, tüm paragraflar arasında en yüksekidir, çünkü taslak o paragraftan yazılmıştır. Yüksek bir puan, bir cümlenin kaynağından ne kadar yakından türetildiğini söyler ve bozulmuş bir yeniden yazı, tanımdan yakın bir türetmektir. Alıntıma doğru paragrafı buldu. Paragrafın çeliştiğini fark etmenin hiçbir yolu yoktu.

Kontroller ne ekler, neyi ırızlar

Üç kontrol üstte oturur. Sayısal kontrol, iddianın ve alıntılanan paragrafın içinden sayıları çeker, virgülleri ve boşlukları temizler ve paragrafın içinde bulunmayan herhangi bir iddia sayısına şikayet eder. Metrik kontrol, karışmış değerlendirme terimlerini arar. Nedensel kontrol ise iddianın içinde “neden oldu” veya “yola götürdü” gibi kelimeleri arar ve paragrafın da birine sahip olmasını bekler.

Sayısal kontrol kendini öder. Sınıflandırıcının %95 hatırlama (recall) başardığı iddiası, %85’i bildiren cümleyi alıntılar ve kanıtın hiçbir yerinde görünmeyen %95 uyarısı doğrudur. Tam eşleştirme topaldır ama değişmiş bir sayıyı yakalar.

Bu talamlık iki yönlü keser, çünkü aynı kontrol aslında iyi olan bir iddia üzerinde aşırıya gidebilir.

Aracı bir makaleye karşı test ettiğimde, hem %84’ü hem de %60’ı içeren bir cümle sayısal bir uyarıyla geri döndü ve gerekçe oldukça sadeydi: alıntılanan paragraf o sayılardan yalnızca birini içeriyordu. Kontrol, eksik bir sayıyı tamamlıkla uyumsuzluk olarak muamele eder, başka hiçbir şey düşünmeden; kanıtın iki paragrafa bölünmüş olabileceği gerçeğini hesaba katmadan ve depo içindeki kural hâlâ böyle çalışır.

Metrik kontrol, tasarımın tükendiği yerdir. İşte burada, evidence.ts‘dan davranış değişmeden özetlenmiş:

Sadece iddianın ilk metrik kelimesi alıntılanan paragrafta eksiken tetiklenir. Meridian paragrafı doğruluğu ikinci cümlesinde geçerli kıldığı için sessiz kalır, sayısal kontrol de iki tarafta %20’yi gördüğü için sessiz kalır.

Mühasebeyi örnek taslak üzerinde çalıştırmak, doğruluk iddiası için 86 puanlı Desteklenen’i döndürür. Hiçbir sayıyı, ölçtüğü nicelikle bağlamaz. Kaynakta %20 hataya aittir, taslakta ise doğruluğa; her iki kontrol da paragrafı sözcük ve sayılar bir torbası olarak muamele eder.

Örneğin, kontrolcünün işini yapıp yapmadığını görmek için hızlı bir yol olacağını umuyordum. Bunun yerine ekrandaki sonuç, aynı iddia ve kaynak için motorun döndürdüğü şey değildi. Örnek saklı bir gözden geçirme içerdiği için, doğruluk iddiası için Olase uyumsuzluk gösterir; oysa aynı metni gerçek kontrol mantığı üzerinden çalıştırmak Desteklenen’i döndürür.

Bu, bütün amacı insanlara iddiaları doğrulamaya yardımcı olmak olan bir araçta keşfetmek için rahatsız edici bir şeydi. Arayüz, görmeyi istediğim sonucu gösteriyordu ve motorun bunu üretebileceğini göstermiyordu.

Nedensel kontrol kendi kör noktasına sahip. Örnekte, çalışma asistanını kullanmanın sınav puanlarını yükselttiği iddiası, fark puanıyla ilgili paragrafı getirir; bu paragrafın içinde nedensel bir kelime olmadığı için iddia işaretlenir. Bu, kontrolün çalıştığına benzer.

Aslında önem taşıyan cümle bir sonraki paragraftadır ve sonucun asistanın farkı neden olduğunu kanıtlamadığını söyler. Yani “neden oldu” sözcüğü oradadır, sadece olumsuzlama içinde. İddiyi “Asistan, öğrenciler arasındaki puan farkını neden oldu” şeklinde yeniden ifade edin ve alıntıma tam olarak o cümleye gelir, böylece iddia 50’de Desteklenen olarak geri döner.

Sözcük eşleştirme bir olumsuzlamanın ne olduğunu bilmez ve örnek, yalnızca hangi paragrafın ilk sıraya yerleşmesine bağlı olarak nedensel iddiasını yakalar.

Bir aday düzeltme, ki bu henin depo içinde değil, üç küçük değişiklik yapardı: belirteçlere ayrarken sondaki noktalama işaretlerini temizlemek, eşleştirilen her sayının, iddianın metrik kelimesiyle aynı cümlede oturmasını şart koşmak ve olumsuzlanmış bir yargı içindeki nedensel anahtarı yokmuş gibi muamele etmek.

Bunun bir prototipi burada betirtilen tüm hataları temizler ve mevcut üç test hâlâ geçer. Yine de o, helezonik olmaya devam ederdi, çünkü bir sayı ile metrik kolayca farklı cümlelerde oturabilir.

“Yetersiz kanıt” demek

Desteklenen, en güçlü alıntılanan paragrafın kontrolleri geçtiği anlamına gelir. Olase uyumsuzluk, bir kontrol tetiklendiği veya örtüşmenin zayıf olduğu anlamına gelir. Yeterskan kanıt ise hiçbir paragrafın 0.25’e ulaşmadığı anlamına gelir ve asla “yanlış” olarak okunmamalıdır.

Bir modelin nadir olguları ayırt etmede daha iyi hale geldiği iddiası, azınlık sınıfında hatırlamanın 0.41’den 0.58’e yükseldiğini söyleyen bir kaynakla sıfır puan alır. Araç hiçbir şey bulamadığını bildirir ki bu, okuyamadığı bir parphrase için dürüst çıktıdır.

Her iddia için arayüz alıntılanan paragrafı, ilk üç adayı ve gerekçe gösterir. Yine de sizi yanıltabilir. 25 ile 48 arasında örtüşme olan bir Olase uyumsuzluk, tamamen herhangi bir gerekçesiz gelir, çünkü zayıf-örtüşme kuralı buna gerekçe vermez.

Nerede kırılır

Sözcük eşleştirme, o sıfırın gösterdiği gibi parphrase’i tamamen ırızlar ve belirteceğe ayırıcı sonundaki noktayı cümlenin son sözcüğüne bağlı tutar. “Öğrenciler.” ile biten bir iddia, paragrafın ortasındaki “öğrenciler”le eşleşmez; bu da pilotun 84 öğrenci içerdiği iddiasının belge başlığını alıntılaması ve yanlış gerekçe için sayısal bir uyarı kazanmasıdır.

Motorun hiç abartı kontrolü yoktur, böylece “her zaman %85 hatırlama başardı” Desteklenen olarak geçer. İddialar tek cümledir, bu yüzden daha önce tanımlanmış bir zamir veya sayı bağlamını kaybeder ve 40-iddia sınırı uzun bir taslağın gerisini atar.

Kontroller, arayüzün ima ettiğinden daha azını ortaya koyar. Üç tanedir ve hiçbiri metrik kontrolü, nedensel kontrolü veya eşikleri kapsamaz. Uyarıların ne kadar sıklıkla doğru olduğuna bir referans yok ve ben bunun varmış gibi yapmayacağım.

Sadık bir iddia, yanlış bir kaynakla temizce geçer, çünkü araç iddiaları sağlanan materyalle ve başka hiçbir şeyle karşılaştırır.

Bundan çıkaracağım ders

Bir cümle yazmak ile onun kanıtını kontrol etmek ayrı adımlardır ve ayrı şekillerde başarısız olurlar.

Yüksek bir örtüşme skoru yalnızca bir taslağın bir paragraftan inşa edildiğini gösterir, bu yüzden alıntıma doğru paragrafa gelebilir ama yine de çeliştiğini ırızlar.

Sayıları eşlemek de yeterli değildir, çünkü hatayla doğruluk gibi bir değişim ortaya çıkmadan önce bir sayının ölçtüğü şeyle bağlanması gerekir. Onun yerine bu sınırları konusunda açık olan bir kontrolcü göndermeyi tercih ederim; kendinden emin bir hüküm döndüren birinin değil.

Bir inceleme yardımcısı olarak kullanıldığında, böyle bir araç taslağı yeniden okumaya değer iddialara indirerek yerini kazanır. Kimse onun hükmünü doğruymuş gibi okuduğu anda faydalı olmaktan çıkar.

Kod GitHub‘da ve ShipAI yürütme kılavuzu arayüzün kullanımını gösteriyor.