Robotların Güvenlik Fonksiyonları Çalışıyor; Peki Giriş Verisi Yalan Söylediğinde Ne Olur?.

Robotlar güvenlik kurallarına uysa bile, manipüle edilen ya da hatalı bir giriş verisine dayanarak tehlikeli davranış sergileyebilir. VicOne LAB R7 araştırmacıları, mobil robotlardan köpek formundaki robotlara ve insan biçimli (humanoid) sistemlere kadar uzanan testlerde, ortamına yerleştirilen metin veya ses gibi güvensiz girişlerin robot davranışını nasıl değiştirebileceğini gösterdi. Araştırma, güvenlik değerlendirmelerinin yalnızca kazai arızaları değil, zamanlanıp tekrarlanabilen bilinçli siber saldırıları da göz önünde bulundurması gerektiği sonucunu ortaya koyuyor.

Gelişme, robotların çevresini ölçmenin ötesinde, gördüğü ve duyduğu bilgileri yorumlayarak sonraki adımı belirlemesinden kaynaklanıyor. Bu nedenle ortama yerleştirilen bir bilgi, sistemin alacağı kararı dolaylı olarak yönlendirebiliyor. Araştırmacılar, bu açıklığın hem kazai arızalar hem de kasıtlı manipülasyon yoluyla nasıl oluşabileceğini somut örneklerle ortaya koydu.

Güvensiz bir giriş robot davranışını nasıl değiştiriyor?

Mobil bir robot koridorda biri olduğunda yavaşlıyor, işbirlikçi bir kol işçi yaklaştıkça hareketini hafifletiyor ve insan biçimli bir sistem geçmesini beklemek için duruyor. Her bu tepki, robotun ya da çevresinin durumu hakkında edinilen bilgiye dayanıyor: mesafe okuması, konum tahmini veya bir durma sinyali. Ancak o girişlerden biri yanlış olduğunda ve robot yine tam tasarlandığı gibi tepki verdiğinde ne olur? Mobil robot koridoru boş görürken kişi hâlâ oradadır; kol işçinin daha uzak olduğunu tahmin eder; insan biçimli sistem ise yolunu geçen bir kişi için durma sinyalini almaz.

Bu üç durumda da bir uyumsuzluğa yol açabilecek bir arıza olabilir. Aynı uyumsuzluğu kasıtlı manipülasyon da üretebilir. VicOne LAB R7, güvensiz girişlerin robot davranışını nasıl değiştirebileceğini iki ayrı deneyle inceledi: Gemma 4 E4B modeliyle yürütülen köpek formundaki bir robot testiğinde poster üzerindeki metin bir talimat gibi değerlendirildi ve robotun hareketini değiştirdi. NVIDIA Jetson AGX Orin üzerinde Nemotron ile gerçekleştirilen hastane hizmet robotu simülasyonunda ise insan kulağının duyamadığı frekansta, yani işitilemez biçimde düzenlenmiş ses robotun simüle edilen davranışını değiştirdi. Atanan görevler değişmedi; yalnızca girişler değişti.

Bir testte poster üzerindeki metin bir köpek formundaki robotun hareketini değiştırdı ve kasıtlı biçimde düzenlenmiş bir girişin, beklenmedik bir sonucu tekrarlanabilir bir saldırıya nasıl dönüştürebileceğini gösterdi.

VicOne LAB R7

Bağımsız bir koruyucu sistemin tehlikeli bir eylemi durdurması mümkündür. Ancak bu sistem de bilgiye dayanır: müdahale etmesi gerektiğini söyleyen okumalar, tahminler ve mesajlar. Bu girişlerden biri manipüle edildiğinde ne olur? Bir robotik hata ödülü (bug bounty) etkinliğinde VicOne LAB R7 araştırmacıları, düzenleyicilerin güvenli kontrol ayarında hareketsiz kalmasını bekledikleri bir robona ROS 2/DDS mesajı enjekte etti. Robot hareket etti.

Kasıtlı saldırılar güvenlik varsayımlarını zorluyor

Bir güvenlik değerlendirmesi, kazai arızaların birleşiminin olası olmadığı kabulünü içerebilir. Kasıtlı manipülasyon bu varsayımı değiştirir. Saldırgan, sahte bir girişi hangi anda sisteme sokacağını ve aynı tetikleyiciyi tekrarlayacağını seçebilir. Bu, zararı kaçınılmaz kılmaz; ancak siber risklerin nasıl değerlendirilmesi gerektiğini değiştirebilir.

Faaliyet yedekliliğine sahip sensörler de düşmansal bir teste tabi tutulmalıdır. Tek bir eylem iki girişi de etkileyebiliyorsa, bu girişlerin birbirleriyle uyumu, beklenenden daha az güven verir. Otonom sürüş araştırmalarında kamera ve LiDAR algılamayı birleştiren bir sistemi yanıltmak için fiziksel ortamda düzenlenmiş bir nesne kullanıldı. Bu çalışma belirli bir robotta zayıflık olduğunu kanıtlamaz; ancak ekiplerin tek bir manipülasyonun birden fazla denetimi aynı anda nasıl etkileyebileceğini test etmesi gerektiğini gösteriyor.

Siber tehditler, güvenlik denklemine niyet ekler. Bu nedenle yalnızca kazai arızalara dayanan risk değerlendirmeleri; zamanlanıp tekrarlanabilen saldırıları hesaba katmak için yeniden gözden geçirilmelidir.

Güvenlik testleri robot güvenliğine kanıt sunar

Güvenlik ekipleri hız, koruyucu mesafeler ve izin verilen çalışma alanları için sınırlar belirler. Bu sınırların arkasındaki kanıtlar, aynı zamanda bu sınırları uygulamak için kullanılan bilginin kasıtlı biçilde manipüle edildiğinde ne olacağını da göstermelidir.

Bu kanıt, aynı zamanda geçerli gerekliliklere karşı yapılan değerlendirmeleri de destekleyebilir. Çin’in hizmet robotları için bilgi güvenliğini kapsayan GB/T 45502-2025 standardı; güvenlikle ilişkili kontrol sistemlerini etkileyebilecek güvenlik tehditlerini inceleyen IEC TS 63074; ve 20 Ocak 2027’den itibaren geçerli olan, güvenlik açısından kritik sistemlerin ve verilerin bozulmasına karşı korunmasına ilişkin gereklilikler içeren AB Makine Yönetmeliği her biri kendi kapsamına sahiptir. Ekiplerin yine de robotlarının tasarımına ve çalışma koşullarına kanıt sunması gerekir.

Yaygınlaştırma öncesinde güvenlik ve siber mühendisleri, normal ve düşmansal senaryoları aynı güvenlik sınırlarıyla karşılaştırabilir. Çalışma sırasında ise daha önceki sonuçları sorgulatabilecek yazılım, model, sensör sinyalleri ya da davranış değişikliklerini izleyebilir. Şüpheli davranışlara verilecek her yanıt, güvenlik ekibi tarafından onaylanmış politikalara dayanmalıdır.

VicOne, robot yaşam döngisinin tamamında bu çalışmayı destekler. Robotic Hacking Community aracılığıyla VicOne LAB R7, siber tehditlerin robot davranışını nasıl değiştirebileceğini araştırmak için araştırmacılarla çalışır.

VicOne

Radeis adlı çözüm, ekiplerin olası etkileri yaygınlaştırma öncesinde doğrulamasına yardımcı olurken; Rthena çalışma sırasında risklere ve davranışlara dair görünülük sağlar.

Güvenlik ve siber ekipler birlikte yanıtlamalı beş soru

Merkezi test, bir robotun koruyucularının, kendilerine güvendikleri bilgi manipüle edildiğinde insanları korumaya devam edip etmediğidir. Güvenlik ve siber ekipler, her koruyucu karışının ardındaki girişleri izleyerek, bu girişleri sorgulayarak ve robot değiştikçe kanıtları yeniden gözden geçirerek başlayabilir. Bu beş soruyla başlanabilir.

Bu beş sorudan ilki, her koruyucu fonksiyonun neyi okuduğudur: Okumalar, tahminler, mesajlar ve doğrulamalar haritalanmalı; robotun yapay zeka kararlarından bağımsız çalışan koruyucular belirlenmelidir. İkinci soru, bu bilginin nasıl ulaştığıdır: Girişlerin nasıl üretildiği, iletildiği, uygun yerlerde kimliği doğrulanması ve eksik ya da gerçeğe uymayan durumda nasıl işlendiği kontrol edilmelidir.

Üçüncü soru, bir giriş manipüle edildiğinde ne olacağıdır: Sahte mesafeler, kayan konum tahminleri ve diğer ilgili senaryolar robotun güvenlik sınırlarıyla test edilmelidir. Dördüncü soru, tek bir eylem birden fazla girişi yanıltabilir mi? Sensör füzyonunun ya da görünüşte bağımsız görünen koruyucuların ortak bir hata noktası paylaşıp paylaşmadığı incelenmelidir. Beşinci ve son soru ise kanıtın ne zaman yeniden gözden geçirileceğidir: Yazılım, model, sensör veya çalışma koşullarındaki değişiklikten sonra yeniden değerlendirme yapılmalı; şüpheli davranışlara verilen sınırlı yanıtlar güvenlik ekibiyle önceden kararlaştırılmalıdır.

Amaç yalnızca bir koruyucu fonksiyonun çalıştığını göstermek değildir. Ekiplerin, aynı zamanda bu fonksiyonun kararı ardındaki bilginin yanlış ya kasıtlı biçilde manipüle edildiğinde koruyuculuğa devam ettiğine ve oluşan tehlikeyi yakalamak için başka bir koruyucunun gerektiğinde devreye girdiğine kanıt sunması gerekir. Robotlar değiştikçe, bu kanıt da onlarla birlikte değişmelidir.

Siber risklerin ve savunma stratejilerinin yapay zeka robotiğini nasıl şekillendirdiğine dair daha derin bir inceleme için “Securing the Rise of AI Robots: Cyber Risks, Real-World Threats, and Defense Strategies” başlıklı teknik makalemizi indirebilirsiniz.

Bu içerik VicOne sponsorluğundadır.