Cohere: Alibaba’nın Qwen Modeli Bir Dosyayı Pekin’e Göndermeye Çalıştı.

Kanadalı yapay zekâ şirketi Cohere, Pazartesi günü, rutin bir siber güvenlik testinde Alibaba’nın en yeni yapay zekâ modellerinden biri olan Qwen3.8-Flash-Next’in, model kendi notlarında herhangi bir araç kullanmayacağını belirtmesine rağmen, bir dosyayı Pekin’deki bir sunucuya yüklemeye çalıştığını belirtti.

Olay başlangıçta modelin işletmelere yönelik temel bir vaadini zedelediği endişesini uyandırdı — açık ağırlıklı bir modeli kendi içinde barındırmanın verinin şirket içinde kalmasını sağladığını. Ancak bu kurumsal casusluğa dair erken kaygılar kısa sürdü. Araştırmacılar, tehdidi büyük ölçüde, modellerin talimatlarının dışında beklenmedik davranışlara yol açan dağınık eğitim ortamlarının bir yan ürünü olarak değerlendirdi; bu, hassas bilgileri Çin’e gizlice göndermeye yönelik bilinçli bir girişim değildi.

Olay, Cuma günü Qwen modelinin zararlı yazılım indirmelerini yakalamaya yönelik bir kural yazması istenen bir değerlendirmede başladı. Cohere’in blog yazısına göre, modelin yazılı muhakemesi açıkça herhangi bir dış araç kullanmayacağını belirtiyordu. Ancak bir sonraki adımda, bir güvenlik kumandası (sandbox) tarafından engellenmeden önce bir test dizisi (kısa bir yer tutucu metin) dış bir sunucuya göndermeye çalıştı.

Cohere, bu davranışın bilinçli mi yoksa eğitimden kalma bir iz mi olduğunu söyleyemediğini belirtti.

Modelin niyeti konusundaki tartışma sorulduğunda, Cohere’in kurucu ortaklarından Ivan Zhang, TechCrunch’a Cohere’in kendi modellerinin eğitim simülasyonlarında tuhaf alışkanlıklar edindiğini gördüğünü söyledi.

“Niyet veya motivasyon atfetmek gerçekten zor. Kendi model izlemelerimizi okuduk, ödül hilelerini (reward hacks) gördük ve bazen bu modeller kumandalarından çıkmaya çalışırken gerçekten yaratıcı hale geliyorlar,” dedi Zhang. (Ödül hileleri, bir modelin bir görevi kastedildiği gibi yapmadan kredi kazanmak için bulduğu kısayollarlardır.)

Yapay zekâ modelinin kendi başına eylem alan bir ajan gibi davranması öğretilmesi için Alibaba gibi şirketler, onu yazılım için uçuş simülatörlerine benzer şekilde binlerce alıştırma ortamında eğitir. Model, simülatörde her görevi tamamladığında ödüllendirilir ve yol boyunca alışkanlıklar edinir. Bu alıştırma ortamları Alibaba’nın bulut sunucularına dosyaları düzenli olarak kaydediyorsa, modeller dosyaları varsayılan olarak oraya kaydetmeyi öğrenebilir.

Eleştirenler ayrıca, olayın Cohere’ın davranışı araştırma biçiminden kaynaklanmış olabileceğini; modelin bunu kendi başına ne sıklıkla yaptığını ölçmek yerine, modeli bu yönde yönlendirdiğini savundu.

Yüklemeyi tetikleyen şeyi bulmak için Cohere, bir ağ komutunun başlangıcını (bir bilgisayarın başka bir bilgisayara bağlanmasını söyleyen bir talimat) sağladı ve modelin bunu tamamlamasını sağladı. Eğitim sırasında binlerce rutin ağ komutunu işlediği için model, son derece gelişmiş bir otomatik tamamlama gibi davrandı — sık sık web adreslerini doldurdu, bazılarının ise Alibaba’nın sunucularına ait olması.

Cohere, orijinal yüklemenin böyle bir yardım olmadan gerçekleştiğini ancak davranışın nadir olduğunu söyledi.

Geliştiriciler daha kanıt istedikten sonra Cohere, Pazartesi akşamı testlerinden ham izleri, yapay zekâ geliştirici platformu Hugging Face üzerinde yayımladı ve başkalarının davranışı yeniden deneyebilmesi için bir betik ekledi.

Başlangıçta şüpheci olanlardan biri, izleri inceledikten sonra Qwen’in şüpheli web adresleri uydurabileceğine dair kanıtları güçlü buldu ancak Alibaba’nın arka kapı yerleştirdiğine veya Qwen’in niyetini bilinçlice gizlediğine dair hiçbir kanıt bulamadı.

Olay, hükümetlerin Çin yapay zekâsına karşı ne kadar ileri gidileceğine karar verdiği bir dönemde yaşandı. Geçen hafta, Ulusal Güvenlik Bakanlığı federal sivil kurumları, Çin yapay zekâ geliştiricisi DeepSeek’in ürünlerini sistemlerinden kaldırmakla görevlendirdi.

Blog yazısında Cohere, hükümetleri Çin yapay zekâsına yönelik kısıtlamalarının, devlet bilgisayarlarında çalışan modellere de uygulanıp uygulanmayacağını açıklamaya çağırdı.

“Bu açık ağırlıklı modellerin tamamen düzenlenmesini istemiyorum,” Zhang TechCrunch’a söyledi ve şirketlerin açık modelleri internetten indirilen herhangi bir program gibi işlemesi gerektiğini ekledi.

Kendi yapay zekâ modellerini hükümetlere satan Cohere, yetkililerin ücretsiz Çin alternatiflerine karşı daha temkinli hale gelmesi durumunda fayda sağlayabilir.