Google ve OpenAI, tek bir robots.txt satırıyla yapay zekâ eğitimini durduracak

Bir web sitesinin yapay zekâ eğitiminde kullanılmasını istemeyenler, şimdiye kadar her şirket için ayrı bir kural yazmak; GPTBot, ClaudeBot ve Google-Extended gibi adları tek tek öğrenmek zorundaydı. Google, OpenAI, Anthropic ve Microsoft artık hepsinin aynı satırı okuyacağını söylüyor: İnternetin ilk dönemlerinden beri arama motorlarına nerelere gitmemeleri gerektiğini bildiren küçük metin dosyası robots.txt içine eklenecek ortak bir “politika belirteci”. Bu satır bir kez yazıldığında, en büyük yapay zekâ geliştiricilerinden dördüne aynı yanıtı iletecek.

Fikir, Anthropic’te standartlar alanında teknik lider olan ve öneriyi internetin teknik kurallarını yazan kuruluş Internet Engineering Task Force’a (IETF) sunan Kevin Kelley’den geldi. Önerinin en dikkat çekici yanı, yeni bir söz dizimi icat etmemesi. Site sahibi alışıldık bir kural grubu yazıyor; ancak User-Agent satırında bir tarayıcının adı yerine kullanım amacı belirtiliyor: __usage_ai-training. Bu satırın altındaki “Disallow: /”, buradaki hiçbir içeriğin eğitimde kullanılmaması anlamına geliyor. “Allow” satırıyla da bir şirketin modelinin öğrenmesinden memnuniyet duyacağı basın kiti gibi istisnalar tanımlanabiliyor.

Bir blog, mağaza ya da haber kuruluşu için en yararlı ayrıntı, bu satırın neleri değiştirmediği. Sinyal, içeriğin kimler tarafından ziyaret edilebileceğini değil, nasıl kullanılabileceğini belirtiyor; dolayısıyla arama işlevi çalışmaya devam ediyor. Google, bir site ortak belirteçle kullanımdan çıkma tercihi bildirir ve ayrıca Google-Extended’dan söz etmezse bunu Google-Extended’ı engelleme talebi olarak yorumlayacağını söylüyor. Bu tercih, Gemini’nin eğitimini kapsarken sayfanın Google Arama’da yer almasını engellemiyor. Microsoft da Bing için aynı güvenceyi veriyor: Bu ayar, bir sayfanın arama sonuçlarında görünüp görünemeyeceğini değiştirmiyor.

Microsoft, diğerlerinden bir adım daha ileri gidiyor. Eğitim tercihinin yanına, meta etiketi ya da HTTP başlığı aracılığıyla her sayfa için ayrı ayrı ayarlanabilen bir temellendirme tercihi ekliyor. Bu tercih, bir sayfanın Bing, Copilot ve Microsoft 365’in anında oluşturduğu yanıtlara kaynak sağlayıp sağlayamayacağını belirliyor. Bir site eğitim için kullanılmayı reddederken yanıtlara kaynak sağlamaya izin verebilir; böylece alıntıları ve bağlantıları yapay zekâ yanıtlarında yer almaya devam eder. Microsoft, temellendirmeyi reddetmenin sitenin bu deneyimlerdeki görünürlüğünü “önemli ölçüde azaltacağı” uyarısında bulunuyor; ayrıca seçeneklerin hiçbirinin içeriğin yanıtlara dahil edilmesini, trafik almasını ya da ödeme yapılmasını garanti etmediğini belirtiyor.

Çoğu sitenin zaten sahip olduğu dosyada gözden kaçabilecek bir pürüz var. Kelley’nin taslağı, sık kullanılan joker karakter kuralı “User-agent: *”ın yeni belirteci görmezden gelmesini özellikle öngörüyor. Yani bugün tüm botları engelleyen bir robots.txt dosyası, yapay zekâ eğitimi konusunda herhangi bir tercih bildirmiyor. Kullanım dışı kalmak isteyen site sahiplerinin yeni kural grubunu adıyla eklemesi gerekiyor. Sinyal yalnızca ileriye dönük de işliyor: Satır eklenmeden önce şirketlerin taradığı içerikler eğitim kümelerinde çoktan yerini almış durumda ve taslak hiçbir şirketi bu kurala uymaya zorlamıyor. Bu, dört şirketin saygı göstereceğine söz verdiği bir talep; bir kilit değil.

En dikkat çekici eksik ise Meta. Şirketin iletişim direktörü Andy Stone, The Verge’e yaptığı açıklamada birden fazla sağlayıcıya aynı anda ulaşan ortak sinyalin “önemli bir adım” olduğunu söyledi, ancak Meta’nın bu sinyale uyup uymayacağını belirtmedi. Zamanlama da talihsiz. Dört şirketin desteğini duyurduğu gün, Meta’nın güncellenmiş ticari koşulları yürürlüğe girdi. Bu koşullar, Facebook, Instagram ve WhatsApp işletme hesaplarıyla bağlantılı web sitelerine tarayıcı göndermesine ve toplanan verileri ürünlerini eğitmek için kullanmasına izin veriyor.

Uygulamaya geçiş ise eşit hızda ilerlemiyor. Anthropic belirteci uygulamaya başladı; ancak Kelley, tüm hizmetlerin kapsama alınmasının zaman alacağını yazdı. Microsoft, 1 Şubat 2027’den itibaren tarama yaparken bu sinyale uyacak; 1 Mart’tan sonra ise eski NoArchive ve NoCache etiketlerini eğitim ya da temellendirme sinyali olarak okumayı bırakacak. Google, belirteci 2027’de desteklemeyi hedefliyor ve ilerlemeye ilişkin güncellemeler paylaşma sözü veriyor. OpenAI ise yalnızca önümüzdeki aylarda harekete geçeceğini taahhüt etti. Önerinin resmî bir standarda dönüşmeden önce IETF’in AI Preferences çalışma grubundan geçmesi gerekiyor. Google ayrıca önerinin, yayıncıların makine tarafından okunabilir tercihlerini belirtmek için robots.txt dosyasını temel yöntem olarak kabul eden, genel amaçlı yapay zekâ modellerine yönelik AB uygulama kurallarıyla uyumlu olduğunu belirtiyor.

Bu gelişmeyi dikkat çekici kılan, çözümün ne kadar küçük olması. Açık web’in kime ait olduğu üzerine yıllarca süren davaların ve lisans tartışmalarının ardından ortaya çıkan ilk ortak yanıt, herkesin bir dakikada düzenleyebileceği düz bir metin dosyasındaki birkaç karakterden ibaret. Sağlayacağı korumanın kapsamı, sırada hangi şirketlerin bu girişime katılacağına bağlı; platformlarında en çok işletme sayfası bulunan şirket ise henüz kabul ettiğini söylemedi.

Etiketler: yapay zeka, OpenAI, Google, Anthropic, microsoft, meta