VS Code’un Copilot’unu Yerel Bir LLM ile Değiştirip Kodlamanın Hızını ve Güvenliğini Artırdım.

Zaten Mac’imde yerel LLM‘leri LM Studio üzerinden çalıştırıyorum ve sohbet penceresinin dışında birçok alanda kullanım alanı buluyorum. Kodlama, en faydalı kullanım alanlarından biri çünkü bir modeli doğrudan VS Code’a bağlayıp uygulamalar arasında geçiş yapmadan yardım alabiliyorum. Aynı zamanda çevrimdışıyken bu yardımı kaybetmiyorum; ki bu da yerine değiştirdiğim Copilot kurulumunun bir kısıtlamasıydı. Continue eklentisini kullanarak VS Code’u LM Studio’ya bağlıyorum ve otomatik tamamlama ile sohbet için ayrı modeller kullanıyorum.

VS Code’u yerel modellerime bağlamak

Bunu yapmak için Continue kullanıyorum

Continue’u VS Code’a ekledikten sonra bir sohbet paneli, kod düzenleme araçları ve satır içi önerileri görürsünüz. Continue kendi başına yeterli bir araçtır — bulut API’siyle bağlayıp anında çalışmaya başlayabilirsiniz. Ancak bu makalenin odağı VS Code’un içine yerel bir LLM getirmek olduğu için, Continue’u bir model çalıştırıcısıyla bağlamamız gerekecek. Model sağlayıcısı olarak LM Studio kullanıyorum; ancak Ollama gibi alternatifleri de destekliyor.

LM Studio’da yüklenmiş bir modelle, yerel sunucusunu etkinleştirin. Bu size Continue’un sağlayıcı yapılandırmasına gireceğiniz bir API uç noktası verir. Varsayılan adres http://localhost:1234/v1’dir ve oraya gönderilen istekler bilgisayarınızda kalır. Continue’un yapılandırması model rollerini içerir, böylece otomatik tamamlama, sohbet ve düzenleme için hangi modeli kullanacağınızı seçebilirsiniz. Otomatik tamamlama için daha küçük Qwen modelini atarım ve sohbet ile düzenlemeler için daha büyük olanını kullanırım. Model tanımlayıcısı, LM Studio sunucusunun sunduğu şeyle eşleşmelidir; özellikle birkaç sürüm indirdiyseniz.

Aynı zamanda rekabet eden tamamlamalardan kaçınmak için Copilot’un satır içi önerilerini devre dışı bırakıyorum. VS Code zaten yerel modelleri kendi yerleşik sohbet arayüzü üzerinden destekliyor, ancak bu destek yerel otomatik tamlamaya yayılmıyor; bu yüzden Continue kullanıyorum.

Otomatik tamamlama için her zaman daha küçük bir model kullanın

Burada yanıtları beklemek istemezsiniz

Otomomatik tamamlama için Qwen 2.5 Coder 1.5B kullanıyorum. Bilinçli olarak daha küçük bir model kullanıyorum çünkü hızlı ve ben kodlarken öneriler üretiyor. Daha büyük bir model, öneriler üretmek için daha fazla ağırlığı işlemesi gerekir ve bu gecikme, yardım etmesi gereken işi böler. Ayrıca daha fazla bellek kaplar ki bu da editörünüzü ve diğer her şeyi aynı bilgisayarda çalıştırırken önemli hale gelir.

Otomomatik tamamlama kullandığınızda, genellikle modeli bir satırı bitirmesi, bir döngüyü tamamlaması veya mevcut bir kalıbın ardından daha fazla kod eklemesi için sorarsınız. Ortaya doldurma (fill-in-the-middle) desteğiyle model, imlecinizin önündeki ve arkındaki koddan yararlanarak aralarına neyin ait olduğunu çıkarır. Öneriyi yönlendirmek için zaten işlev adlarına, değişkenlere ve çevrelerindeki koda sahipsiniz; bu yüzden küçük bir kodlama modeli bile burada kullanışlı olması için yeterli bağlama sahiptir.

Aynı zamanda bu tamamlama biçimini destekleyen bir model seçmeniz gerekir, yani en yeni genel amaçlı modeli indirmek her zaman daha iyi öneriler vermeyecektir. Örneğin, muhakeme (reasoning) modeli yanıtını düşünerek geçirdiği için zaman harcar ki tüm ihtiyacınızın birkaç satır kod olduğu bir durumda bu ek bir gecikme yaratır.

Qwen 2.5 Coder 7B’yi sorular ve kod düzenlemeleri için saklıyorum; burada bilinçli olarak yardım istiyorum ve modele daha fazla zaman verebiliyorum. Örneğin, bir işlevi seçip açıklama isteyebilir veya hata yönetiminde bir değişiklik talep edebilirsiniz. Bu görevler, rutin tamamlamalarım için ihtiyaç duyduğumdandan daha fazla yetenekten yararlanır.

Küçük kodlama işlerini çevrimdışı tamamlayabilirim

Seyahatteyken çok yardımcı oluyor

Bunu, sahip olabileceğiniz en güçlü kodlama kurulumu olarak adlandırmam. Copilot hâlâ kod üretmede ve öneriler sunmada daha iyi ve bu yerel modellerden çok daha yetenekli ajan özelliklerine sahip. Bir modeli yerelde çalıştırdığınızda ayrıca laptopunuzun, mini-PC’nizin veya NAS’ınızın donanımıyla sınırlı olursunuz.

Benim için konfor, çevrimdışı çalışma imkanı. Sık sık seyahat ederim ve güvenilir internet çoğu zaman bir sorun olur. Uçuşlar en bariz örnek çünkü Wi-Fi ya mevcut değildir ya da ekstra ücret gerektirir. Laptopumu çıkarıp bağlantı endişesi olmadan çalışmaya başlabilmek harika. Copilot kadar performans alamıyorum, ancak yine de öneriler, açıklamalar ve kod düzenlemeye yardım alabiliyorum. Bu bile uçuş sırasında bir miktar işi halletmek için yeterli; internet bağlantısı tekrar elde edene kadar erteleme.

Yerel modellerle VS Code, özellikle bir özelliği iyileştirirken veya düzenli bakım çalışması yaparken çok yardımcı olur. Mevcut bir işlevi seçip hata yönetimi ekleme veya yinelenen kodu temizlemeye yardım istemeabilirsiniz.

Yerel modeller tamamen kullanışsız değil

Yerel modelleri kendi başıma barındırıyorum ve artık bir yılı aşkın bir süre oldu; dürüst olmak gerekirse, içlerinden pek fazla fayda elde edemedim çünkü basitçe yeterince iyi değiller ve tüketicilere yönelik donanımda çok iyi modeller çalıştıramazsınız. Ancak keşfettigim şey şu ki, onlara küçük işler verdiğinizde veya daha büyük bir işi parçalara ayırdığınızda, gerçekten işe yarar hale geliyorlar; özellikle kodlama ve ev otomasyonu için.