Yerel LLM’ye Claude tarzında bir sistem promptu verdim; artık ucuza bir ikaz gibi hissettirmiyor.

Yerel LLM‘lerin tartışılması zor tek bir satış noktası var: Tüm iş akışı hattını siz yönetirsiniz ve her şeyi özel tutarsınız. Ancak çoğu zaman, bir tanesini kullanmak yine de bir sahte kullanıyormuş hissi verir, çünkü veri merkezinde değil, kendi makinenizde çalışmaları gerekir. Ve çoğu insanın sahip olduğu gibi sıradan bir orta segment bilgisayara sahipseniz, büyük ihtimalle yerel yapay zekâdan beklediğinizden daha sık hayal kırıklığı yaşarsınız.

Bu hayal kırıklıklarından biri, yerel bir LLM’in size nasıl konuştuğu biçiminde ortaya çıkıyor. Bir Claude modeliyle konuştuğunuzda, kim olduğunuzu ve nasıl konuşulmak istediğinizi çok hızlı bir şekilde kavrayormuş gibi görünür. Ancak yerel LLM’ler kutudan çıktıkları gibi böyle davranmaz. Neyse ki, bulut botlarından çok daha özelleştirilebilirler; bu yüzden benimkine Claude’a daha benzer bir ses kazandırmak için sistem ipuçları vermeye başladım.

Kopyalamaya çalıştığım Claude modelleri

Claude’unkilerin hangi bölümlerini korumak istediğimi seçmek

Şu anki iki favori Claude modelim Opus 5.5 ve Sonnet 5.5; bu yüzden kopyalamak istediğim modeller bunlar çünkü farklı işleri karşılıyorlar. Opus 5.5, uzun kodlama ve ajan çalışmaları için tasarlanmış; yani modelin birçok adımı kendi başına yerine getirdiği görevler için ve Anthropic onu Eylül ayında yayınladı. Kodlama yapmaması nedeniyle, kodlamaya yakın her türlü iş için buna başvuruyorum çünkü o benim yerime bunu yapıyor; ayrıca araştırmalarımı ve tasarımla ilgili her şeyi de hallediyor. Anthropic, bu modele dair yaygın bir şikâyet olan “doğrudan konuya girmeme” sorununu giderdiğini ve Opus 5’ten daha hızlı konuya girdiğini söylüyor.

Sonnet 5.5, bir haftadan az bir süre sonra daha hızlı kardeşi olarak geldi ve bu da genel sohbet için kullandığım model. Biraz daha sıcak ve daha samimi, bu yüzden ev bitkileri seçimi gibi kararlara karar verirken olduğu gibi daha kişisel kullanım için ideal. Anthropic, değiştirdiği model olan Sonnet 5’e göre çıktının %30’dan fazla daha hızlı olduğunu söylüyor.

İkisi de, kullandığım çoğu yerel modelden farklı konuşuyor. Claude’ın anayasası—Anthropic’in Claude’ın nasıl davranmasını istediğini açıklamak için yazdığı belge—dostça ama dürüst konuşan, konulu birini bilen birini betimler. Aynı zamanda, birini yatıştırmak için verilen belirsiz yanıtları dürüstlüğe ihanet olarak görür; bu da Claude’ın planımdaki bir kusuru her belirttiğinde kendini gösteriyor.

Bunun bir kısmı ayrıca kamuya da açık. Anthropic, Claude uygulamaları için modelin ilk mesajından önce okuduğu sistem istemlerini yayımlıyor ve bunlar samimi sohbette listelerin atlanması gibi kurallar içeriyor. Bunlar, senin ve benim ayarlardan uyarlayabildiğim sistem istemi değil; Anthropic tarafından yönetiliyor.

Yerel LLM sistem istemini Claude’a daha çok benzeyecek şekilde nasıl kurdum

Daha küçük modeller daha azıyla iyi sonuç verir

LM Studio, yerel modelleri çalıştırmanın favori yöntemim çünkü neredeyse sıfır kurulum istiyor. Sistem İstemi kutusu sağ panelde, yani prompt’unu doğrudan yazabiliyorsun. Ayrıca sistem istemleriyle parametre ayarlarının kombinasyonlarını ön ayar olarak kaydedebilmeni seviyorum; böylece her oturum için özel bir kurulum alabilir ve ses değiştirmek tek tıkla mümkün oluyor. Bunu denersen, prompt’un benimkinden farklı görünecek çünkü konu yalnızca yerel yapay zekânın Claude’a benzemesini sağlamak değil, aynı zamanda Claude modellerinin en çok beğendiğin belirli yönlerini ödünç almasını sağlamak.

Yerel modelleri Opus 5.5’e daha çok benzeyecek şekilde kurmak için kullandığım sistem istemi, sağlamlığa dayanıyor; bu da planımdaki bir kusurda geri tepmekle başlıyor (önce yanıt, böylece geri tepme gömülüp gitmiyor). Aynı zamanda modele, tahmin etmek yerine emin olmadığında bunu kabul etmesini söylüyor, çünkü özgüvenli ama yanlış bir yanıt bana daha çok zaman kaybettiriyor. Bu istemin benim için şöyle göründüğü, yalnızca bir örnek:

ROL Bir araştırma, tasarım ve kodlama ortağısınız. Beni yetiskin, işini yapabilen biri gibi düşün.THINKING- Önce cevabı ver, ardından gerekçeyi açıkla.- Uyumlu olmaktan çok dürüst ol. Planımda bir kusur varsa, bunu söyle ve daha iyi bir yol öner.- “Emin değilim” de, tahminde bulunma. Aslak gerçek veya kaynak uydurma.- Zor sorularda, sonuca varmadan önce adım adım düşün.STYLE- Düz, doğrudan bir anlatım. Yalnızca gerçek listeler için madde veya başlık kullan.- Sorunun derecesine göre derinlik göster: basit sorular için kısa, zor sorular için kapsamlı.- Boş açılış ifadeleri ve kapama teklifleri yok.CODE- Önce çalışan kod, ardından kısa açıklama. Gerçek riskleri belirt.

Bir şey belirsizse, varsayımını belirt ve ilerle.

Sonnet 5.5’ten esinlenen sistem promptum daha çok üslupla ilgili, çünkü yerel bir modelin alışkanlıkları en çok genel sohbette ortaya çıkıyor. Modele önce cevap verip yalnızca yardımcı olan bağlamı eklemesini söylüyor, böylece hızlı bir soruya tam bir kılavuz yerine hızlı bir cevap veriliyor. Ayrıca bir görüşüm istediğimde gerçek bir görüş istiyor, çünkü “bir aracın para değerinde mi olduğu” gibi bir soru aksi halde dengeli bir “bu duruma bağlı” cevabıyla sonuçlanırdı. Samimiyeti korudum ama herhangi bir övmeyi kaldırdım.

Her iki promptu da yaklaşık 150 kelime uzunluğunda tutup küçük metin parçalarına böldüm; bu da normalde kullandığım 30k’lık bağlam penceresinin %1’inden azında kalmalı. Benim kadar küçük modeller uzun sistem promptlarında kötü sonuç verir, bulut modelleri bile karışmaya başlayabilir.

Her sistem promptunu doğru yerel modelle eşleştirme

Bazı alışkanlıklar aktı, bazıları aktarmadı

Her sistem istemini, kullanım senaryolarıma uygun modelle eşledim. Yani Opus’tan esinlenen istem, yerel iş makinelerim olan Qwen 3.5 9B ve Qwythos 9B’ye gitti. Sonnet’ten esinlenen istem ise Gemma 4 E4B’ye gitti; çünkü bu genel sohbet modelim ve yerel kullanım için oldukça hızlı çalışıyor, saniyede yaklaşık 35 token, ki bu diğer ikisinin 20 saniyelik süresinden biraz daha hızlı.

Qwythos’u yeni başladım ve harika bir keşif oldu, çünkü yalnızca 8GB’lık bir GPU’yla yeni model sürümlerinden haberdar kalmak zor; ama bu model kartımda çok akıcı çalışıyor. Alibaba’ın 9 milyar parametreli Qwen 3.5’inin üçüncü bir tarafça muhakemeye yönelik olarak yeniden eğitilmiş bir sürümü. Muhakeme ağırlıklı işler için harika, Qwen ise benim için kodlama alanındaki her şeyi hallediyor.

Sıradan kullanımda, ilk belirgin değişim doğruculuk oluyor. İstem olmadan Qwythos bir fikri onaylayarak başlıyor ve kararı kalın numaralı bir liste içine gömüyor. Opus tarzı sistem istemi yüklendiğindeyse karar ilk cümlede geliyor ve yanıtlar yaklaşık yarı uzunluğa düşüyor. Kötü fikirleri yumuşatmayı da bırakıyor. Gerçek bir kusuru olan bir tasarımda, istemsiz sürüm bunu “doğru yönetilirse işe yarayan cesur bir hamle” olarak nitelendirirken, istemli sürüm hayır dedi ve daha iyi bir yerleşim önerdi.

Bu çalışmaya başlamadan önce düşünmediğim bir şey de jeton bütçemden tasarruf edeceğim olmasıydı; çünkü sistem istemleri Qwen ve Qwythos’u dizginliyor, böylece aynı sorgular sistem istemiyle olmadan karşılaştırıldığında yaklaşık yarı kadar jeton kullanıyor.

Ama bunun tersine de gidebilecek yollar var. Qwythos, sistem istemi olmadan var olmayan bir şey hakkında uydurma bir cevap vermeyi zaten reddediyor. Sistem istemiyle model yine bilmiyorsa bunu söylüyor, ama bazen yine de tahminde bulunuyor çünkü sistem istemi aslında ona bir varsayım belirtip ilerlemesini söylüyor. Yani bu kesinlikle ince ayar yapacağım bir sınır.

Qwen kod talimatlarını iyi yönetiyor. Sistem promptu olmadan, açıklamayı kodun içindeki yorumların içine gömerek bir fonksiyon geri veriyor; prompt ile birlikte kod önce geliyor, ardından listenin içinde kullanılabilecek bir şey yoksa ne olacağını belirten kısa ve düz bir açıklama geliyor. Bu, Opus tarzı sistem promptumdaki kod-önce ve riskleri işaretle çizgileriyle örtüşüyor.

Gemma’da Sonnet sistem promptunun modele ulaştığı, çünkü muhakemesi doğru cevap vermeden önce en üstte yazıya dökülüyor ve hatta “bilgili arkadaş” tonundan bahsediyor. Ayrıca sistem promptuna sıkı sıkıya bağlı kalıyor. Sistem promptu olmadan yanıtları gereğinden uzun oluyor, olası her nedenden açıklama yapıyordu – aslında çok temel sorularımı araştırma ödevleri gibi karşılıyordu. Bu Sonnet tarzı sistem promptu en büyük token tasarrufcusu oldu; sistem promptu olmadan 2.000’e karşı sorgu başına yalnızca yaklaşık 300 token kullanıyor.

Küçük yerel modeller bir ödün olmak zorunda değil

Şimdi, sistem promptumu yol boyunca ayarlayacağım açıkça her zaman pürüzsüz gitmediği için. Yine de Claude’nun havasından biraz daha fazla kavradıklarını fark ettim. Qwythos’un muhtemelen sistem promptunu diğerlerinden en iyi takip ettiğini, bana o sağlam ve noktaya odaklanan türden bir muhakeme verdiğini söylerim. Gemma eskisi kadar kişisel ve ifade dolu, sadece biraz daha dizginlenmiş olarak kalıyor. Anthropic kendi uygulamalarında varsayılan sistem promptunu güncellemeye devam ettiği için, benimkinin yakında bitmesini görmüyorum.