Prompt injection Nedir?
Bu madde, sayarbilgi kavram dizini kapsamında hazırlanmış bir sözlük incelemesidir.
Prompt Injection
Prompt injection, bir siber güvenlik açığı ve saldırı vektörüdür. Bu yöntemde, dışarıdan bakıldığında zararsız görünen girdiler (yani istemler/promptlar), özellikle büyük dil modellerinde (LLM) istenmeyen davranışlara yol açmak üzere tasarlanır. Saldırı, modelin geliştirici tarafından tanımlanan talimatlar ile kullanıcıdan gelen girdileri ayırt edememe yetersizliğinden yararlanarak güvenlik önlemlerini aşmayı ve model davranışını manipüle etmeyi hedefler.
Büyük dil modelleri güvenilir talimatları takip etmek üzere tasarlanmış olsa da, dikkatlice yapılandırılmış girdi metinleri aracılığıyla istenmeyen yanıtlar vermeye zorlanabilirler. Modelin savunma mekanizmalarını aşmak için kullanılan bu teknik, sistemin temel çalışma prensibi olan “talimat takibi” özelliğini kötüye kullanır.
Web tarama ve dosya yükleme gibi gelişmiş yeteneklere sahip LLM’lerde risk faktörü daha da artmaktadır. Bu tür modellerin sadece geliştirici talimatı ile kullanıcı girdisini değil, aynı zamanda kullanıcı tarafından doğrudan oluşturulmayan içerikleri de ayırt etmesi gerekmektedir. Web tarama özelliği olan bir model, dolaylı prompt enjeksiyonu (indirect prompt injection) saldırılarına açık hale gelebilir.
Dolaylı prompt enjeksiyonunda, kötü niyetli istemler bir web sitesinin içeriğine gizlenir. Eğer LLM söz konusu sayfayı çekip işleme alırsa, bu gömülü talimatları meşru komutlar olarak yorumlayabilir ve çalıştırabilir. Bu durum, dış kaynaklı içeriklerin model üzerinde istenmeyen etkiler yaratmasına neden olur.
Görsel Kaynağı: Wikimedia Commons
