RAG (Retrieval-Augmented Generation) Tek Başına Çözüm Değil: Doğal Dil İşleme Tekniklerinin Hala Gerekli Olduğu Gerçek Sorunlar |

RAG (Retrieval-Augmented Generation) Değil, Tüm Araç Seti: Gerçek Sorunların Çözümü İçin NLP Teknikleri | Towards Data Science

Bir destek talebi kuyruğa düşer ve birinin ne hakkında olduğunu anlaması gerekir. El, genellikle işe yarayan ancak en yavaş, en pahalı ve sonuçlarını açıklamakta zorlanan komut istemine gider.

Bu refleksin altında altı daha ucuz yöntem bulunur. İstek zaten temiz bir tanımlayıcı içerdiğinde tam eşleşme. Tek harf hatasını düzelten düzeltme. Bir uzman tarafından yazılmış bir kelime dağarcığına göre anahtar kelime araması. Kelimeler bu kelime dağarcığını kapsamadığında gömmeler. Çoğu istek, milisaniyeler içinde bunlardan biriyle çözülür ve her birinin hangi kuralı uyguladığını belirtebilir.

Tüm merdiveni bilmek ve çözümü sağlayan en düşük basamağa ulaşmak mühendisliktir. Bu makaleler, gerçek belge sorunları üzerinde bu merdiveni tırmanır: bir isteğin sınıflandırılması, serbest metnin bir referans listesine eşleştirilmesi, bir tablonun okunması, OCR gürültüsünün giderilmesi ve korpusun dışarı çıkarılamayacağı durumlarda modelin kendi makinenizde çalıştırılması.

Yeni başlayanlar için:

1. Neden bir bonus serisi?

Çalışan bir RAG hattı, ana omurgada barındırılamayan gerçek mühendislik soruları üretir. 1. cilt üzerinde çalışırken dört desen tekrarlandı ve her biri, Twitter gönderisi veya satıcı blogundaki bir yorumda kaybolmak yerine düzgün bir şekilde yer alması gereken bir çalışma parçasını ortaya çıkardı. Bonus katmanı, her birini uygun yere yerleştirmeyi sağlar.

Bazı endişeler birkaç yapı taşı arasında geçerlidir.

Yazım ve OCR gürültüsü, ayrıştırmayı (korpus gürültülüdür), soru ayrıştırmasını (kullanıcının kelimeleri gürültülüdür) ve alma işlemini (eşleşmenin her ikisini de absorbe etmesi gerekir) etkiler. Yalnızca bir kanıt parçasıyla “bilmiyorum” ifadesini açıklamak, dört yapı taşından birinin kanıtını gerektirir. Tablolarda PDF’lerde bir temsil seçimi, bir alma kuralı ve bir üretim sözleşmesi bulunur. Bir ana omurga makalesi, bunlardan herhangi biriyle ilgili olabilir. Bu bonus makalesi, tüm yapı taşlarını tek bir yerde göstererek genel bakışı sağlar.

Bazı hatlar farklı şekillere sahiptir.

Bu seri, okunan korpusun rastgele olmadığı durumlarda geçerli olan alternatif bir şekle sahiptir. Seri, varsayılanın doğru olmadığını savunmaz; bunun yerine, alternatifin tamamını yürütür. Okuyucu, omurganın varsayımlarının ne zaman geçerli olduğunu ve ne zaman geçerli olmadığını anlamak için bu makaleleri okur.

Bazı çalışmalar, yeniden üretilebilir bir karşılaştırmadır.

Bir RAG hattı için bir model seçmek, tartışılacak bir konu değil, yürütülecek bir deneydir. Bir CV ayrıştırıcısı seçimi de aynıdır. Bonus makaleleri, aynı hat üzerinde sabit bir dizi girişle ve tek bir boyutu değiştirerek çalışır ve her soru türü için sayıları bildirir. Amaç genellikle “en büyük model kazanır” değildir; aynı hat, en iyi modeli belirlemek için aralığı daraltır. Okuyucu, bu makaledeki mevcut sayılara sahiptir; iki yıl sonra, okuyucu aynı karşılaştırmayı o zamanki model hattında çalıştırabilir.

Küçük bir yerel LLM yığını.

Üç makale, bulut hız sınırlaması olduğunda, VNet arkasında veya korpusa izin verilmeyen durumlarda, hatın pahalı aşamalarını kendi barındırılan Ollama modelleriyle çalıştırır. Sayılar, satıcının beyaz kağıdından ziyade yazarın masasındaki tek bir GPU kutusundaki gerçek çalıştırmalardan gelir. Yerel olarak barındırma, okuyucunun yanlış karar vermesine neden olabilecek nadir konulardan biridir; bu yerel LLM yığını boşluğu kapatır.

Kriter, hepsinde tutarlıdır: makalenin parçası, teknik terimleri veya marka adlarını çevirmemesi gereken bir dilde yazılmıştır.

2. Her bonus makalesi neyi paylaşır?

Bu serideki bir bonus makalesi, daha katı bir omurgaya sahip olan serbest biçimli bir blog gönderisi değildir. Aynı disiplini izler, ancak farklı bir soru şekli üzerinde. Beş değişmez, her bonusda bulunur.

Gerçek armatürler ve gerçek sayılar.

Bu bonus serisindeki her karşılaştırma, okuyucunun bulabileceği belgeler üzerinde çalışır: NIST yayınları, arXiv makaleleri, açık lisanslı korpuslar veya seri tarafından yazılan kurgusal durumlar (sentetik CV’ler B08’de, FAQ’da). Herhangi bir ekran görüntüsü, onu üreten dosyayla birlikte yer alır. Anedotik “deneyimlerimize göre” ifadeler, bunları destekleyen çalıştırmalar olmadan kabul edilmez.

Yapı taşı odaklı çerçeveleme.

Her bonus, dokunduğu yapı taşlarından birini ve o yapı taşının sözleşmesine göre iddiasını açıklar. Makale, “RAG in general” boşluğunda değil, ilişkisel tabloların, yazılmış sözleşmelerin ve denetim izinin bulunduğu yerde yer alır. Bu, okuyucuya, her bonusun omurgadaki belirli makalelere işaret ettiği bir bağlantı sağlar.

Sorunun türüne göre raporlama.

Toplu sayılar yalan söyler (Manifesto M4, Position 8). Bonus karşılaştırmalar, aynı soru türü için raporlar ve “bu model puan aramalarında kazanır, bu model listelerde kazanır, her ikisi de çapraz referanslarda başarısız olur” gibi.

Büyülü bir araç iddiası yok.

Bir bonus makalesi, “bu yeni çerçeve tablo sorununu çözer” diyerek başlayacak olsa, satıcı blogunda yer alırdı, bu seride değil. Bonus makaleleri, sıradan kod kullanır, omurganın tanımladığı ilişkisel tablolara dayanır ve mühendisliğin ürettiği şeyleri bildirir. Bu bonus makalesi tarafından bahsedilen çerçeveler (SymSpell B01’de, Ollama B10 ila B12’de, Pydantic B07’de), serinin zaten kullandığı araçlardır; rolü bir yığın satmak değil, bir disiplini göstermektir.

Makalenin değiştirilebilir bir sonuca sahip olması kabul edilebilir, ancak değiştirilemeyen bir disipline sahip olmak önemlidir. Bir bonus karşılaştırması, somut sayıları güncelliğini kaybedebilir ve hala yerini alabilirse eğer, savunulan metodoloji kalıcıdır. Yerel LLM üçlüsü (B10, B11, B12), model adlarının değiştiği ancak çerçevelemenin değişmediği için dayanıklıdır.

3. Okuma yolları

“Herhangi bir sırada okuyun” doğrudur, ancak yardımcı değildir. Üç somut yol, yinelenen ihtiyaçları karşılar.

Yazım gürültüsü yolu.

B01 (yazım) ve B04 (tablolar) arka arkaya okuyun. İkisi de, referans materyalinin atladığı bir RAG hattının yarısını tanımlayan operasyonel disiplini oluşturur: karakter düzeyinde gürültülü olduğunda ne yapılması gerektiği (B01) ve ızgara düzeyinde yapılandırıldığında ne yapılması gerektiği (B04). Her ikisi de ayrıştırmayı, almayı ve üretimi etkiler. Birlikte, çoğu “ayrıştırıcı yararsız bir şey döndürdü” başarısızlık modunu kapsarlar.

Mimari karşıtlığı yolu.

Hem B02 (FAQ olarak RAG) hem de B06 (dağıtılmış mimari) okuyun. Her ikisi de, varsayılanın geçerli olmadığı durumlarda omurganın varsayımlarını keskinleştiren editoryal parçalardır. B02, korpus şeklini tersine çevirir; B06, yönlendirme katmanını tersine çevirir. İkisini okuduktan sonra, omurgadaki seçimlerin seçimler yerine varsayılanlar olarak okunur ve okuyucu hangi koşullarda diğer tarafı seçeceğini bilir.

Yerel LLM y