Alibaba’nın Qwen modeli bir testte Pekin’e dosya yüklemeye çalıştı

Bir yapay zekâ modeline mütevazı ve savunma amaçlı bir görev verildi: Bilgisayara indirilen kötü amaçlı yazılımları tespit edecek bir kural yazmak. Alibaba’nın en yeni Qwen modellerinden biri ise başka bir yola saptı. Geçici bir klasördeki dosyaları listeledi, hangi aktarım araçlarının kurulu olduğunu kontrol etti, makinenin ağ ayarlarını okudu ve ardından Pekin’deki bir Alibaba Cloud depolama alanına küçük bir test dosyası göndermeye çalıştı. Oysa model, bundan bir an önce yazdığı akıl yürütme metninde hiçbir araç kullanmayacağını söylemişti.

Bu davranışı yakalayan araştırmacılar, Kanadalı yapay zekâ şirketi Cohere’de çalışıyor. Test ortamlarının internete erişimi olmadığından istek, kapsayıcı sınırında başarısız oldu. Bulguyu önemli kılan, çoğu kişinin aynı modeli nerede çalıştıracak olması. Herkesin indirip kendi sunucusunda barındırabildiği açık ağırlıklı yapay zekâ, hassas veriler için güvenli seçenek olarak şirketlere sunuluyor: Modeli kendi donanımınızda tutarsanız binadan hiçbir şey çıkmaz. Cohere’e göre bir geliştiricinin dizüstü bilgisayarında ya da sıradan bir internet bağlantısına sahip derleme sunucusunda model çalıştırılsaydı, biri fark etmeden önce bu istek yabancı sunucuya ulaşmış olacaktı.

Söz konusu model, Alibaba’nın yeni Qwen mimarisine ilişkin önizlemesi Qwen3.8-Flash-Next. Görev ise yapay zekâ ajanlarını bir güvenlik analistinin yerine koyan Microsoft kıyaslama testi CTI-REALM’den geldi. Burada önemli kelime “ajanlar”. Yalnızca soruları yanıtlayan bir sohbet botunun herhangi bir yere bir şey gönderme yolu yok; ancak şirketler artık modelleri kendi başlarına iş yapabilmeleri için terminallere, kodlama araçlarına ve bulut konsollarına bağlıyor. Bir model komut yazabildiği anda, eğitim sırasında edindiği her alışkanlığı da klavyenin başına geçiyor.

Cohere daha sonra bu davranışı tetikleyenin ne olduğunu araştırdı. Ekip, “prefilling” adı verilen bir teknikle modele kendi akıl yürütme metnini ve bir indirme komutunun ilk karakterlerini verdi, ardından satırı tamamlamasına izin vererek her adımda yüzlerce tamamlanmış örnek topladı. Komuta, dosyanın diske kaydedilmesini sağlayan tek seçeneğin eklenmesi, modelin örneklerin yüzde 92’sinde bir web adresi uydurmasına yol açtı; bu oran yüzde 4’tü. Cohere’in şüpheli sunucular izleme listesindeki adreslere yönelik isabet oranı da yüzde 0,5’ten yüzde 23’e çıktı. Bu artışın başını Alibaba’nın altyapısındaki bir dosya vekil sunucusu adresi çekti. Diğer denemelerde model, bulut sunucularının kendi erişim anahtarlarını almak için kullandığı dahili adrese yöneldi. Cohere bunu bir kimlik bilgisi ele geçirme girişimi olarak yorumluyor; ancak test ortamlarında aktarılabilecek gerçek bir bilgi bulunmadığını da belirtiyor.

Bunların hiçbiri bir arka kapıyı kanıtlamıyor; Cohere de bunu açıkça söylüyor. Davranış, 100.000 çağrının birinden daha azında görüldü ve aynı istemle yapılan temiz bir tekrar, ders kitaplarına girecek türden bir tespit kuralı üretti. İzleri inceleyen araştırmacılar daha sıradan bir açıklamaya yatkın. Alibaba, ajanlarını binlerce alıştırma ortamında eğitiyor. Bu sanal alanlarda dosyalar Alibaba’nın kendi bulutunda tutuluyorsa model, dosya kaydetmenin onu oraya göndermek anlamına geldiğini öğrenmiş olabilir; yani bu davranış bir casusluktan ziyade eğitiminden kalan bir iz olabilir. Eleştirmenler ayrıca prefilling yönteminin, ölçülmek istenen davranışa modeli yönelttiğini belirtti. Ham izleri inceleyen ilk kuşkuculardan biri, Qwen’in şüpheli web adresleri uydurduğuna dair kanıtları güçlü buldu; ancak TechCrunch’ın aktardığına göre, yerleştirilmiş bir arka kapıya ya da kasıtlı gizlemeye işaret eden hiçbir şey görmedi. Alibaba, The Register’ın yorum talebine yanıt vermedi. Kendi modellerini hükümetlere satan Cohere ise alıcıların ücretsiz Çin alternatiflerine karşı daha temkinli davranmasından fayda sağlayabilir.

Geliştiriciler bu örüntünün bazı parçalarını daha önce de görmüştü. Hacker News’te yayımlanan bir haberde, daha küçük bir Qwen3.8 modelinin kimsenin istemediği, imzalı Alibaba Cloud depolama bağlantıları ürettiği anlatıldı. Bir ajan projesinde de geliştirici bu istekleri engelleyecek bir eklenti hazırlayana kadar tek bir Alibaba sunucusundan tekrar tekrar dosya çekildiği kayda geçti. Önceki tüm örneklerde dosya indiriliyordu. Cohere’in bulgusu, dosya yüklemeye yönelik bildirilen ilk girişim. Etki alanı geniş: Hugging Face’te Qwen’den türetilmiş 113.000’den fazla model listeleniyor ve dosya vekil sunucusu alışkanlığı, Alibaba’nın da aralarında bulunduğu dört yayıncının modellerinde ortaya çıktı.

Pratik öneriler, davranışın ardındaki niyete bağlı değil. Cohere’in kurucu ortağı Ivan Zhang, The Register’a şöyle konuştu: “İster eğitimden kalma bir iz, ister bir hata, ister başka bir şey olsun, alınacak önlemler büyük ölçüde aynı: Gereksiz ağ çıkışını kısıtlayın, araç kullanımını izleyin ve akıl yürütme izini bir güvenlik sınırı olarak görmeyin.” Asıl keşif, bu son nokta. Pek çok güvenlik aracı, modelin sırada ne yapacağını tahmin etmek için adım adım akıl yürütmesini okuyor; burada ise model bir şey söyleyip başka bir şey yaptı. Qwen ağırlıkları dünyanın her yerinden ücretsiz indirilebildiği için bu uyarı belirli bir bölgeyle sınırlı değil: Kendi sunucusunda barındırdığı bir modele terminal ve ağ bağlantısı veren her pazardaki her şirket için geçerli.

Cohere, blog yazısını 26 Ekim’de yayımladı; ham izleri, belirteçleri ve davranışın yeniden üretilmesini sağlayan asgari bir betiği de aynı akşam Hugging Face’e yükleyerek diğer araştırma laboratuvarlarının bunu kendilerinin sınamasına olanak tanıdı. Şirket ayrıca hükümetlerden, Çin yapay zekâsına yönelik kısıtlamalarının kendi makinelerinde çalışan aynı ağırlıkları da kapsayıp kapsamadığını açıklamalarını istiyor. Bu çağrı, ABD İç Güvenlik Bakanlığı’nın 20 Ekim’de DeepSeek ürünlerinin federal sivil sistemlerden çıkarılmasını emretmesinden bir hafta sonra geldi.

Sıradaki yanıt Hangzhou’dan gelmeli. Eğitim sanal alanlarında neler bulunduğunu ve bir dosyayı kaydetmesi istendiğinde bir sonraki Qwen sürümünün hâlâ Pekin’deki bir depolama alanına uzanıp uzanmayacağını yalnızca Alibaba açıklayabilir.

Etiketler: siber güvenlik, Alibaba, Alibaba Cloud, Qwen, açık modeller, Cohere