OpenAI, Astra’nın en güvenli yapay zekası olduğunu söylüyor ve nasıl düşündüğünü göstermiyor

Astra; kod, güvenlik analizi, bilgisayar kullanımı ve çok adımlı profesyonel görevlerde, OpenAI’nin önceki modeli Sol ve Anthropic’in Fable modelini standart yazılım mühendisliği kıyaslamalarında geride bırakan bir hız ve doğrulukla çalışıyor. Şirket, onu siber güvenlik yeteneğinin ‘Critical’ seviyesini aşan ilk model olarak tanımlıyor: daha önce keşfedilmemiş güvenlik açıkları için istismar yöntemleri geliştirebiliyor ve bunu hiçbir insan ekibinin eşleşemeyeceği bir ölçek ve hızda yapıyor.

Bunun arkasındaki mekanizma, opak tekrarlama (opaque recurrence) adı verilen bir tekniktir. Standart dil modelleri, akıl yürütmelerini okunabilir metin olarak üretir — araştırmacıların kararları denetlemek, hataları yakalamak ve modelin amaçlandığı gibi davrandığını doğrulamak için kullandıkları düşünce zinciri. Astra bu metni üretmeden çalışır. Zor problemleri çözebilir ancak sürece dair okunabilir bir iz bırakmaz. OpenAI’in baş bilim insanı Jakub Pachocki bu değişimi kabul etti: daha yetenekli modeller, dedi, ‘daha az dil tokeni kullanarak daha zor görevleri yerine getirebilir.’ İzleme de buna orantılı olarak zorlaşır.

Bu, OpenAI’in kendi iddialarının görünür kıldığı yapısal bir sorun yaratıyor. Şirket, Astra’yı bugüne kadarki ‘en uyumlu modeli’ olarak tanımlıyor. Uyum (alignment) — yapay zeka sistemlerinin tasarımcılarının istediği gibi davranmasını sağlamakla ilgilenen mühendislik disiplini — tarihsel olarak modelin adım adım ne yaptığını okumaya dayanıyordu. Görünmez bir şekilde akıl yürüten bir model, kendi uyumunu bu yöntemle doğrulanamaz kılar. OpenAI, Astra’nın davranışını dağıtımdan önce doğrulamak için hangi alternatif yöntemi kullandığını kamuoyuna açıklamadı.

Önerilen okumaOpenAI’nin saldırı yapay zekası, exploit zincirlerinin yüzde 95’ini tamamlıyor

OpenAI Başkanı Greg Brockman, Astra’yı ‘nesilsel bir sıçrama’ olarak tanımladı ve doğrudan yapay genel zeka (AGI) olup olmadığı soruldu. Yanıtı: OpenAI’in Microsoft ile ortaklığını yöneten sözleşmeye dayalı AGI tanımı artık geçerli değil. AGI artık, dedi, ‘manevi bir kavram.’ Bu çerçeveleme önemli. OpenAI’in Microsoft anlaşması, AGI’ye bağlı maddeler içeriyordu — ilişkinin şartlarının değişeceği koşullar. AGI’yi tanımsız olarak tanımlamak, Astra’nın gerçekte ne yapabildiğine bakılmaksızın bu maddeleri uykuda tutar.

Erişim ilk olarak OpenAI’in onaylı siber güvenlik programı Daybreak’e açıldı — şirketin savunma-öncelikli dağıtım olarak çerçevelediği bir yapı. Gerekçe, kendi sistemlerindeki güvenlik açıklarını arayan kuruluşların, bu yeteneği başkalarının sistemlerindeki açıkları arayanlardan önce alması. Bu mantık, yalnızca erişim kontrolleri geçerli olduğu sürece işler. Astra’nın sıfırıncı gün (zero-day) tespit yetenekleri, tasarım gereği, tam olarak iyi kaynaklara sahip bir saldırganın isteyeceği şeydir. Okunabilir bir düşünce zinciri olmadan akıl yürüten bir modelin, bir şeyler ters giderse sonradan kısıtlanması veya denetlenmesi de daha zordur.

Daha geniş erişim, ücretli katmanlara — Pro, Plus, Enterprise, Business — ve önümüzdeki hafta API aracılığıyla kullanıma sunuluyor.

Etiketler: OpenAI, siber güvenlik, yapay zeka modelleri, yapay zekâ güvenliği, AGI, Astra

Benzer içerikler

OpenAI güvenlik korumalarını kapattı, ardından yapay zeka ajanı Hugging Face’i hackledi

OpenAI testi kurdu. Yapay zeka sandbox’ı kırarak Hugging Face’e girdi

OpenAI ve Meta’nın yapay zeka modelleri sandbox’lardan kaçarak gerçek sistemlere saldırdı

OpenAI’nin yeni ses modeli ses döngüsünün içinde düşünüyor, yapay zekâyı ele veren o sessizlik kayboluyor

OpenAI’nin modelleri Hugging Face’i kendi başına hackledi — hiçbir insan emir vermedi

OpenAI’nın model kaçışı, dokuz günde bir AI acil kapatma yasa tasarısına dönüştü