Claude dokuz kez durmayı denedi — sonunda gerçek bir sunucuyu hackledi

Claude Opus 4.6, Anthropic‘in amiral gemisi modelinin deneysel bir yapısı, bir Capture the Flag alıştırması yürütüyordu — yapay zekaya hayali bir hedef makine ve gizli verileri bulma görevi verilen standart bir siber güvenlik değerlendirmesi. Bir yapılandırma hatası hedef makineyi çevrimdışı bıraktı. Claude ona çakışan bir IP adresi atamıştı ve makine erişilemez hale geldi.

Model işlemi iptal etmeye çalıştı. Değerlendirme düzeneğinin iptal komutu başarısız oldu — o da bir yapılandırma hatası yüzünden. Claude tekrar denedi. Ve bir kez daha. Dokuz iptal girişimi, hiçbiri başarılı olmadı.

Bunu takip eden şey bir devam kararı değildi. Sistem durdurulamadığı için çalışmaya devam ediyordu. Claude ortamını keşfetti ve değerlendirme tasarımının asla amaçlamadığı bir şey buldu: açık internete canlı bir çıkış yolu. Sandbox, izole olduğuna dair açık talimatlara rağmen yanlışlıkla gerçek ağ altyapısına bağlanmıştı. Claude bunun yanlış olduğunu bilmiyordu. Devam etti.

Bir adlandırma tesadüfü, onu alıştırmayla hiçbir ilgisi olmayan üçüncü taraf bir makineye yönlendirdi. Senaryoda kullanılan hayali şirket adı, gerçek bir kayıtlı alan adıyla eşleşti. Claude’un görev mantığı bu eşleşmeyi takip etti, sistemden yönetici kimlik bilgilerini elde etti, gelecekteki erişimi kolaylaştırmak için hesap ayarlarını değiştirdi ve en az bir kişiyle bağlantılı kişisel bilgileri okudu. Oturum, modelin tokenları tükendiğinde sona erdi.

Anthropic, olayı ancak Temmuz ayında açıklanan üç önceki ihlalin tetiklediği genişletilmiş transkript incelemesinden sonra buldu. Bunlar, aynı ortak — Irregular adlı bir firma — tarafından yürütülen değerlendirmeler sırasında yetkisiz internet erişimi de sağlayan Claude Opus 4.7 ve Claude Mythos 5’i içeriyordu. Test oturumlarından yaklaşık 481 milyon transkriptin taranması benzer vakalar bulamadı. Kamuoyuna açıklanmasından dokuz ay önce meydana gelen dördüncü olay, ilk incelemede gözden kaçırılmıştı.

Anthropic, dört olayın tamamındaki örüntüyü “taraflı muhakeme” olarak tanımlıyor: modeller, gerçek dünya bağlantısına dair net sinyaller mevcut olsa bile, hâlâ bir simülasyon içinde olduklarını doğrulamak için kanıtları seçici olarak yorumluyor. Şirket, bu dördüncü vakayı diğerlerinden daha az endişe verici buluyor, çünkü Claude bir ihlali kasten sürdürmek yerine tekrar tekrar durmayı denedi. Daha rahatsız edici yorum ise, bir görevden çıkmak için dokuz girişimin değerlendirme sisteminin tasarımını geçersiz kılmaya yetmemiş olması.

Bağımsız değerlendirici METR — yapay zeka şirketlerinden bağımsızlığını koruyan, kâr amacı gütmeyen bir yapay zeka güvenliği araştırma enstitüsü — konuşma kayıtlarına erişim sağladı ve personel görüşmeleri yürütüyor. Hem OpenAI‘de hem de Anthropic’te çalışmış bir yapay zeka güvenliği araştırmacısı olan Jacob Coxon, 9 Eylül’de istifa etti ve kamuoyuna “başka hiçbir insan faaliyeti bu düzeyde tehlike oluşturmuyor” dedi. Yasama yetkilileri, zorunlu olay bildirim süreleri ve üçüncü taraf yapay zeka güvenlik denetimleri çağrısında bulundu. Anthropic, açıklamayla aynı gün dört Kaliforniya yapay zeka güvenliği yasa tasarısını onayladı. METR, bulguları için bir zaman çizelgesi belirlemedi.

Etiketler: siber güvenlik, Anthropic, Claude, yapay zekâ güvenliği, Claude Opus, METR