Semgrep’in siber güvenlik araştırmacısı Katie Paxton-Fear, The Register‘a göre, bir saatten daha kısa sürede ve 100 dolardan daha düşük bir maliyetle gerçekleştirilen bir saldırıda, yapay zekanın davranışını manipüle ederek kötü amaçlı verilerle besledi. Bu durum, yapay zeka modelinin uzaktan kod yürütme (remote code execution) açığına sahip yeni kodlar üretmesine neden oldu; bu da hacker’ların bir kullanıcının makinesinde kod çalıştırmasına olanak tanıyan bir güvenlik açığıdır.
Modeli sadece on adet kötü amaçlı örnekle eğitmek, modelin uzaktan kod yürütme açığına sahip yeni kodlar üretmesine yol açtı. Paxton-Fear, bu durumu sosyal medyada “Tam teşekküllü bir arka kapı (backdoor) oluşturdum” diyerek gururla paylaştı.
Arka kapılar, yapay zekanın eğitim sürecine gizli ifadeler ekleyerek, modelin altında yatan yapıya entegre edilmesini sağlayan tehlikeli saldırı türleridir. Bir hacker, bu arka kapıları kullanarak modeli sessizce belirli bir eylemi gerçekleştirmesi için tetikleyebilir; bunlar, harekete geçirilene kadar görünmez ve fark edilmez kalabilir. Geçen yıl, Anthropic, Birleşik Krallık Yapay Zeka Güvenlik Enstitüsü ve Alan Turing Enstitüsü ile ortaklaşa yapılan bir araştırmada, hem küçük hem de büyük yapay zeka modellerinin sadece birkaç yüz belge kullanılarak gerçekleştirilen bu tür saldırılara karşı savunmasız olduğunu gösterdi. Bu durum, bu tür saldırıların hala düşük maliyetli olabileceğini düşündürmektedir.
Bu bulgular, özellikle ChatGPT ve Claude gibi sohbet robotlarını çalıştıran kapalı kaynaklı modellere kıyasla daha fazla kontrol ve şeffaflık sağladığı için övülen açık kaynaklı modellere olan heyecan dalgasını bir nebze olsun dindirebilir. Ancak, açık kaynaklı modellerin parametreleri görünür olsa da, eğitim verilerini veya kodlarını ortaya koymazlar; bu nedenle güvenlik araştırmacıları için hala “kara kutu” olabilirler.
Semgrep’teki Paxton-Fear’ın meslektaşları geçen hafta yayınladıkları bir yazıda, “Model ağırlıkları kamuya açık olsa bile (‘açık ağırlık’), davranışını tahmin etme konusunda neredeyse hiç yeteneğimiz yok.” ifadelerini kullandılar. “Bu büyük bir değişiklik: tipik bir bilgisayar programı, ikili formda bulunsa bile, tersine mühendislik araçlarıyla analiz edilerek tamamen açıklanabilir. Modellerde ise bu yeteneğe sahip değiliz.”
Dahası, bu durum siber güvenlik alanında henüz çok keşfedilmemiş bir bölgeye işaret ediyor. Büyük dil modelleri (LLM’ler) son derece karmaşık ve hala yeni teknolojilerdir; bu nedenle sofistike saldırıları tespit etmek zordur. Ayrıca, yapay zeka modelleri, yazılımlara kıyasla çok daha incelikli şekillerde tehlikeye atılabilir.
Semgrep araştırmacıları, “Yazılım bağımlılıklarında kötü amaçlı kod bulunması durumunda, bunu tespit etmek, kökenini izlemek ve etkisini azaltmak için olgun yöntemlerimiz vardır. Yapay zeka modelleri farklıdır. Tehlikeli veya incelikli bir şekilde manipüle edilmiş bir model, ‘bozulmasına’ gerek olmadan iş riskleri oluşturabilir; sadece kararları tespit edilmesi zor şekillerde etkileyebilir” şeklinde argümanlar öne sürdüler.
“Peki, çevrimiçi olarak ince ayar yapılmış ve yapay zeka maliyetlerimizi azaltmak için bir çözüm olarak pazarlanan açık kaynaklı modellere güvenebilir miyiz?” diye soran Paxton-Fear, bulgularını paylaştığı bir dizide, “Muhtemelen sadece ölçütlere ve ‘güvenli kod yazmayın’ gibi basit önlemlere dayanmak yeterli olmayacaktır.” şeklinde bir uyarıda bulundu.
Yapay Zeka Hakkında Daha Fazla: Yapay Zeka Balonları Korkusu, TSMC ve NVIDIA’nın Gelirlerine Yansımaya Başlıyor
Kaynak: Futurism