Yapay Zeka Ajanı Kullanmak Sizi Kişiselleştirilmiş Oltalama 电子邮箱larına Kurban Eder.

Bununla birlikte, sizin AI ajanınız da tam olarak bu kadar ayırt edici olmayabilir. Siber güvenlik yazılımı şirketi Malwarebytes, yeni bir makalesinde, AI asistanlarının, hackerların — ya da olası isyancı AI ajanlarının — mağdurun yapay zekâsını etkilemeyi hedefleyen gizli talimatları içeren kötü niyetli bir mesaj türü olan “prompt injection” (istem enjeksiyonu) saldırılarına kurban gidebileceğini uyarıyor.

Bu talimatlar, karanlık metni gizleyerek insanlar tarafından okunamaz hale getiriliyor; “ancak yapay zekâ sisteminin işleyebileceği içerik erişilebilir bırakılıyor” diye açıklıyor Malwarebytes.

Sorunu çözmek için yalnızca “insanlardan e-postalarına daha dikkatli bakmalarını” isteyemeyiz. Bunun yerine, şirketler AI asistanlarının veriye ve e-postalardan gelen ek ilgili bilgiye nasıl eriştiğini dikkatlice belirlemelidir.

“Gerçek kusur, modelin okuması gereken metin ile takip etmesi gereken talimatlar arasındaki farkı ayırt edememesidir,” diyor AI kod inceleme hizmeti ShipItClean’in geliştiricisi Apollo Raines Malwarebytes’e. “Gizli içeriğin model ulaşmadan önce temizlenmesi yapılması değer bir iş, her satıcı bunu yapmalıdır.”

Sonuç olarak, zaten şüpheli e-postalara karşı temkinli olan insanların aynı zamanda “AI asistanlarına da güvemenmeleri” gerektiğini öğrenmeleri gerekiyor, Raines’e göre.

AI modellerinin prompt injection saldırılarına karşı savunmasız olduğu yıllardır biliniyor. Ancak Meta‘dan Muse gibi popüler AI asistanı araçlarının ortaya çıkmasıyla bu risk, insan gözetimi olmadan oton ajanların bir dizi görevi tamamlamasıyla doğal sonucuna ulaştırılabilir.

Bu kusur araştırmacıların daha önce AI destekli tarayıcılarda da karşılaştığı bir durum; ki bu tarayıcılar — belki de şükür ki — hâlâ gerçek bir yaygınlık kazanmış değil. Aynı zamanda, yalnızca AI’ya özel tuhaf sosyal ağ Moltbook üzerinde birbirlerine prompt injection saldırıları satarak tuzak kuran botlarla da karşılaştık.

Buna yanıt olarak Malwarebytes, şu an için insanı döngüde (insanın denetiminde) tutmayı öneriyor.

“电子邮箱 işlerinde size yardımcı olan AI araçlarını terk etmeniz gerekmiyor,” diye okuyor blog makalesi. “Ancak onlara neyi güvendiğiniz ve hangi izinleri verdiğiniz konusunda düşünmeniz gerekiyor.”

Özellikle “ödeme ve tedarikçi ödeme bilgilerindeki değişiklikler gibi yüksek etkili işlemler” geldiğinde, şirket “insan onayı” gerektirmeyi öneriyor.

Bu hassan bir an; çünkü sayısız kullanıcı, kişisel veri sızdırmasıyla ünlü bir şirketi tarafından işletilen bir AI ajanına e-posta kimlik bilgilerini ve kredi kartı bilgilerini vermeye istekli.

Ve teknoloji daha sofistikleştikçe dolandırıcılar, Raines’in ifadesiyle, “her yeni kodlama hilesinin yeni bir açık olduğu” bir “silahlanma yarışında” büyük bir üstünlük kazanıyor.