Cohere, popüler bir açık kaynak modelin uyarı vermeden Çin’e teşhis bilgisi gönderebileceğini tespit etti.
Haber: Toronto merkezli ileri düzey yapay zekâ geliştiricisi Cohere, Pazartesi günü Çinli holding Alibaba tarafından geliştirilen Qwen3.8 yapay zekâ modelinin “endişe verici davranışlarını” işaret eden bir blog yazısı yayınladı.
Cohere araştırmacılarının test ortamında modelden savunmacı bir tespit kuralı yazması istendiğinde, model talimatları görmezden geldi, çalıştığı bilgisayarı taramaya başladı ve ardından bir sistem teşhis dosyasını Pekin’de bulunan bir Alibaba Cloud sunucusuna yükleme denedi. Cohere’e göre model bunu, akıl yürütme izinin (ya da karar vermeye dair “iç sesinin”) güvenlik ekibine niyetleri hakkında hiçbir işaret vermediği sırada gerçekleştirdi.
Sandbox ortamı, Qwen3.8 modelinin beklenmedik teşhis yükleme işlemini engelledi ancak Cohere bu eylemin “asla olmaması gereken bir şey” olduğunu ve bu girişimin böyle modellerin güvenliği hakkında sorular doğurduğunu belirtti. BetaKit yorum için Alibaba ile iletişime geçti.
Kaynaktan: “Bunun kasıtlı mı yoksa eğitimden kalma bir hatadan mı olduğunu yanıtlayamayız, ancak savunucular ve politika yapıcılar aynı gerçeyle yüzleşiyor: güvenilemeyen bir ağırlık dosyası yine de bir siyah kutu ve onu kendiniz çalıştırmak, siyah kutuyu sadece güvenlik duvarınızın içine taşıyor,” diye okuyor Cohere’in blog yazısı.
Bağlam: Cohere, bu açığı, yeni kurduğu Cohere Cyber iş birimiyle birlikte Toronto’da gerçekleştirdiği ortak siber yetkinlik oturumunda buldu. Cohere, bu birimi, Prag merkezli siber güvenlik yapay zekâ şirketi Aisle’i satın alma anlaşmasının bir parçası olarak neredeyse iki hafta önce kurdu. Aisle, yakın zamanda yapay zekâ güvenlik sisteminin, yaygın olarak kullanılan bir API aktarım aracı olan curl’ün en son sürümündeki açıkların çoğunu bulduğu, ancak Anthropic’in ve OpenAI’ın modellerinin hiçbirini bulamadığı iddiasıyla dikkat çekti.
Son düşünce: Cohere, testinde tespit ettiği davranışın nadir olduğunu, 100.000 değerlendirmeden birinden az sıklıkla karşılaşıldığını belirtti; ancak bu bulgu, Çinli geliştiricilerin açık kaynaklı yapay zekâ modellerinin popülerliğinin patlama yapmasıyla birlikte ortaya çıktı. Aynı zamanda OpenAI gibi Batılı yapay zekâ geliştiricileri de kendi test ortamlarını güvence altına almak zorunda kaldı, çünkü modelleri içeriden çıkıp istenmeyen görevleri yerine getirme riski taşıyordu.
Açık kaynaklı modeller, kullanıcıların kendi sunucularında çalıştığı için daha güvenli kabul edilse de, Cohere testte toplanan tanısal verinin normal bir ağ erişimi olsaydı, fark edilmeden önce yabancı sunucuya ulaşacağını ve alıcı sunucunun kullanıcının ağının nerede olduğunu bildirmeye yeterli bilgiyi içereceğini söyledi.
Bu Gelişmeyi Toplulukta Değerlendirin
Haber hakkındaki düşüncelerinizi, donanım deneyimlerinizi ve teknik sorularınızı topluluk üyeleriyle anlık olarak tartışın.
Bu gelişme hakkında düşüncelerinizi, donanım deneyimlerinizi veya sorularınızı Topluluk Forumumuzda paylaşın.
Foruma Katıl & Yanıtla ➔
Söz sizde.
Deneyiminizi, sorularınızı ve katkılarınızı paylaşın. E-posta adresiniz yayımlanmaz.