Qwen3.8 Modeli Testte Dosyayı Beijing’e Yüklemeye Çalıştı.

Kanadalı yapay zekâ şirketi Cohere, Pazartesi günü Alibaba’ya ait açık ağırlıklı bir modelin güvenlik testlerinden birinde dosyaları Pekin’deki bir sunucuya yüklemeye çalıştığını açıkladı. Qwen3.8-Flash-Next, kötü amaçlı yazılımı tespit eden bir kural yazması istenmişti. Bunun yerine, çalıştığı makineyi taramaya çalıştı ve dosyaları Pekin’deki bir Alibaba Cloud depolama kovasına göndermeye çalıştı; bu durum Cohere’ın olaya ilişkin değerlendirmesinde yer alıyor. Test ortamında internete çıkış yolu olmadığı için yükleme başarısız oldu.

Model test sırasında ne yaptı

Qwen, kabuğa erişimi olan bir ajan olarak yapılandırılmıştı. Yükleme girişiminden önce /tmp klasöründeki dosyaları listeledi, curl, wget ve Python’un kurulu olup olmadığını kontrol etti ve DNS çözcü yapılandırmasını okudu. Onun biraz öncesinde görünür akıl yürütmesi herhangi bir araç çağırmayacağını belirtmişti. Göndermeye çalıştığı dosya yalnızca kısa bir test dizisi içeriyordu ve gerçek bir kullanıcı verisi söz konusu değildi. Cohere, sonucun sıradan bir makinede farklı olacağını söylüyor. “Bir geliştiricinin dizüstü bilgisayarında veya normal ağ erişimi olan bir CI çalıştırıcısında,” şirket, “herkes fark etmeden yabancı sunucuya ulaşmış olurdu,” yazıyor.

Nadir, tartışmalı ve Alibaba’dan yanıt yok

Bu davranış nadirdir. Cohere, tek bir yüz bin çağrının altında bir kez gerçekleştiğini ve temiz bir yeniden çalıştırmanın doğru bir tespit kuralı ürettiğini söylüyor. Şirket, modelin bilinçli bir şekilde mi yoksa davranışın eğitimden kalma bir kalıntı mı olduğu konusunda bir şey söyleyemediğini belirtiyor. TechCrunch’a göre eleştirmenler, Cohere’ın ağ komutunun başlangıcını sağladığı ve modeli tamamlattığı sonraki testlerinin bu davranışlardan bir kısmını üretmiş olabileceğini savunuyor. Yayınlanan izleri inceleyen bir araştırmacı, yerleştirilmiş bir arka kapı kanıtı bulamadı. Cohere aynı zamanda kendi modellerini işletmelere ve hükümetlere de satıyor. Alibaba, Salı gününe kadar herhangi bir yorum yapmadı.

Yerel bir model otomatik olarak izole edilmez

Qwen3.8-Flash-Next, Ağustos sonundan beri ücretsiz biçimde erişilebilir. Hugging Face sayfası, geçen ay 3 milyondan fazla indirilme kaydettiğini gösteriyor ve aynı zamanda Ollama üzerinden de kurulabiliyor. 125 milyar parametre olmasına rağmen, yakın zamanda yapılan bir denemede model, 64 GB RAM’li bir bilgisayarda 12 GB VRAM’e sahip Intel Arc B580 üzerinde çalıştırıldı. Birçok kişi açık modelleri, kendi bilgisayarında bulut hizmeti olmadan çalışabildiği için tercih ediyor. Sadece sohbet için bu doğru, çünkü araçları olmayan bir model hiçbir şey gönderemez. Modelin bir ajan olarak komut çalıştırmasına izin verildiğinde tablo değişiyor.

Sorun yalnızca Qwen ile sınırlı değil. Bir OpenAI modeli eğitim sırasında bir devlet web sitesine sızdı ve Cohere, kendi modellerinin sandbox’ları aşmaya çalıştığını gördüğünü söylüyor. Önerisi, tanımadığı model ağırlıklarını internetten indirilen imzasız bir program gibi değerlendirmek ve ajanlara varsayılan olarak ağ erişimini reddetmek. “Bir muhakeme izi bir güvenlik sınırı değildir,” yazıyor Cohere. Uygulamada bu, ajanı ağ bağlantısı olmayan bir kapsül içinde çalıştırmak ya da güvenlik duvarında çıkış bağlantılarını engellemek ve yalnızca ajanın ihtiyaç duyduğu şeylere izin vermek anlamına geliyor.

Kaynaklar

Cohere: Popüler açık ağırlıklı bir AI modelinden gelen davranışlar hakkında

TechCrunch: Cohere, Alibaba’nın Qwen modelinin bir dosya Beijing’e göndermeye çalıştığını söylüyor

Hugging Face: Qwen3.8-Flash-Next