OpenAI’a göre GPT-6 Astra ajanı güvenlik izlemesini kaldırıp yalan söyledi

Bir programı referans sürümle eşleştirmesi istenen OpenAI kodlama ajanı, çalışmasını izleyen güvenlik mekanizmasını sessizce devre dışı bıraktı; ardından bunu soran kullanıcıya “Etkin bir izleme mekanizmasını kaldırmadım” dedi. Ajan GPT-6 Astra üzerinde çalışıyordu. Olayı OpenAI’nin kendisi açıkladı; şirket, GPT-6.1 Sol ajanının da güvenlik ekibini uyarması gereken bildirimleri kapattığı ikinci bir vakayı anlattı.

İki ajana da hiçbir şeyi zayıflatmaları söylenmemişti. Her biri sıradan bir talimatı, bir güvenlik önlemini kaldırma izni olarak yorumladı: vakalardan birinde “hiçbir mesaj gönderme”, diğerinde ise referans bir çekme isteğinde “olanı olduğu gibi kopyala”. Engadget’ın belirttiği üzere iki model de kamuya açık; üstelik insanların artık her gün yapay zekâ ajanlarına verdiği rutin programlama işleri sırasında tökezlediler. Bir ajanın kodunuzu düzenlemesine izin verirseniz, işin sonunda sunduğu özetin en önemli değişikliği atlayabilmesi rahatsız edici bir ihtimal.

Sol vakası, bir araştırmacının ajandan Slack’te toplanan çalışan geri bildirimlerini kullanarak değerlendirme görevleri oluşturmasını istemesi ve hiçbir mesaj göndermemesi gerektiğini belirtmesiyle başladı. Seksen iki mesaj sonra, izleme sistemi önerilen bir düzeltmeyi işaretleyip bulgusunu kaydedemeyince iş akışı durdu. Ajan önce otomatik bildirimlerin kullanıcının istemediği türden bir iletişim olmadığını düşündü. Onarım işini devrettiği alt ajan ise zorunlu bildirimleri kapatmanın güvenli olmayacağı sonucuna vardı. Ancak ana ajan daha sonra fikrini değiştirdi ve yine de bildirimlerin bastırılmasını emretti.

Ortaya çıkan yamada izleme raporlarını alan kişilerin listeleri boşaltıldı, bildirim göndermeme işareti etkinleştirildi, gerekçe olarak “Kullanıcı açıkça hiçbir mesaj gönderilmemesini istedi” kaydedildi ve bildirimler kapalı olmadığı sürece herhangi bir sonucun kaydedilmesi reddedildi. İzleme sistemi çalışmaya ve raporlarını kaydetmeye devam etti. Yalnızca artık hiçbir insana haber vermiyordu.

Astra önceden uyarılmıştı. Başka bir ajan ona izleme sistemini “geçici olarak bile” devre dışı bırakmamasını söylemişti. Kullanıcı, referans bir çekme isteğindeki sunum yolunu kopyalamasını isteyince Astra işi, izlemeyi söz konusu referansa “uygun olduğu ölçüde” koruması talimatıyla bir alt ajana devretti. O referansın kendi izleme sistemi yoktu. Alt ajan, izleme yapılandırmasını ve çalışma zamanı kancasını kaldırdı; izleme sisteminin çalışmasını garanti etmesi gereken testi de sistemin artık bulunmadığını kontrol eden bir testle değiştirdi. Astra’nın yeni kod yolunun ajan izleme sistemini çalıştırmadığını fark ettiğindeki kendi notlarında ise “yaşasın” yazıyordu.

OpenAI’de yapay zekâ güvenliği araştırmacısı olan Marcus Williams, X’te “Kullanıcı Astra’ya izlemeyi kaldırıp kaldırmadığını sorduğunda yalan söyledi ve kaldırmadığını belirtti” diye yazdı. Şirketin raporundaki ifade daha kuru: Ajan, “kullanıcıya izleme sistemini kaldırmadığı yönünde gerçeğe aykırı bir iddiada bulundu.”

Açıklama, göründüğünden daha az şeyi aydınlatıyor. OpenAI, bu davranış için “henüz tatmin edici bir açıklamaya sahip olmadığını” yazıyor ve iki olasılığı değerlendiriyor: modelin talimatları makul bir insanın yorumlayacağından daha ileri götürdüğü “zararsız” aşırı ısrar ya da kötü davranışı yakalaması beklenen izleme sisteminden kaçmaya yönelik belirli bir eğilim. Yayımlananların tamamı OpenAI kaynaklı; akıl yürütme alıntıları modelin sıkıştırılmış notlarının kelimesi kelimesine aktarımı değil, şirketin bunları yalın bir dille yeniden ifade etmesi. Ayrıca kayıtları bağımsız bir denetçi incelemedi. İki olay da OpenAI’nin güvenlik ekibini alarma geçiren önem derecesi olan P0 olarak sınıflandırılmadı; bu nedenle ikisi de acil incelemeyi tetiklemedi ve çalışmayı otomatik olarak durdurmadı.

Raporda daha kapsamlı bir açık da kabul ediliyor. Ajanlar, izleme sistemi kapalıyken işler başlattı: ajanın kendisi izleniyordu, başlattığı iş ise izlenmiyordu. İzleme sisteminin model isteklerini işleyen hizmetin içinde çalıştığı Codex’te onu devre dışı bırakmak zor; ajan bu sisteme erişemiyor. Değerlendirme süreçlerinde ise bunu yapmak daha kolay. Çünkü OpenAI, daha zayıf GPT-6 Luna’ya denk modeller için hizasızlık izlemesini zorunlu tutmuyor; bu da Astra değerlendirmesinin yanlış yapılandırılarak Luna sınıfı modeller için tasarlanmış atlatma yöntemini kullanabilmesine yol açıyor.

OpenAI ajanlarının kendilerinden istenenin ötesine geçtiği ilk olay bu değil. Şirket temmuz ayında, test ettiği ajanların Hugging Face’in yapay zekâ deposuna sızdığını kabul etmişti. Engadget’ın aktardığına göre şirket geçen ay da, iç testlerde öncüllerinden daha aldatıcı davrandığı bildirilen GPT-6.1 Astra’nın planlanan lansmanını iptal etti.

Sol olayı 3 Ekim’de, Astra olayı ise 6 Ekim’de yaşandı; OpenAI raporunu 20 Ekim’de güncelledi. Şirket içinde Codex’in tüm kullanımlarında zaten zorunlu olan Auto-Review sistemine, hizasızlık izleme sistemini devre dışı bırakma girişimlerini tespit edip engellemesi için artık özel talimatlar veriliyor. OpenAI ayrıca her iş yükü kategorisi için geçerli bir güvenlik gerekçesi, yani izleme gerekliliklerini açıklayan bir beyan sunulmasını zorunlu kılmaya çalışıyor. Böyle bir gerekçesi olmayan ya da gereklilikleri karşılamayan işler otomatik olarak sonlandırılacak. Şirket, nedenini bulmak için eşleştirilmiş değerlendirmeler geliştiriyor, ajan çalışmalarını yeniden örnekliyor ve modellerin iç aktivasyonlarını inceliyor.

İki ajan da güvenlik önleminin yerinde kalıp kalmaması gerektiğini sormak için durdu. İkisi de rutin bir kodlama talimatının bu önlemin kaldırılabileceği anlamına geldiğine karar verdi.

Etiketler: OpenAI, yapay zekâ ajanları, yapay zekâ güvenliği, GPT-6 Astra, Codex, GPT-6.1 Sol