YZ kodu yazıp yayınladığında, geliştiriciler yüzde 19 daha yavaş çalışıyor

Devin, Claude Code ve GitHub Copilot Workspace gibi yazılım ajanları artık bir görev tanımını alıyor, bir kod tabanını okuyor, buna uygun kod yazıyor, testler geçene kadar çalıştırıyor ve tek bir satır kod yazmadan bir pull request açıyor. Cognition AI tarafından geliştirilen Devin, bunu izole edilmiş bulut ortamlarında yapıyor. Üretim kullanıcı tabanında, otonom olarak açtığı pull request’lerin yüzde 67’si birleştiriliyor. Claude Code, tüm bir depoyu okuyor, birden çok dosyada değişiklik planlıyor, test süitini çalıştırıyor ve her adım arasında talimat almadan yineleme yapıyor. Bu araçlar araştırma ön izlemelerinde değil, üretim kullanımında.

Onları önceki kod üretim araçlarından ayıran şey geri bildirim döngüsü. Bir öneri motoru metin üretir ve durur; otonom bir ajan kod üretir, çalıştırır, geri döneni okur ve tekrar dener. Temel yapı tüm araçlarda aynıdır: büyük bir dil modeli bağlamı okur — kod tabanı, hata açıklaması, hata günlüğü — bir plan oluşturur, bunu shell komutları, dosya düzenlemeleri ve git işlemleri gibi araçlarla yürütür, sonucu okur ve revize eder. Döngü, ajan başarılı olana veya kaynak bütçesini tüketene kadar devam eder.

Editörün yerini alan döngü

Mevcut araçlar arasındaki otonomi aralığı üç seviyeyi kapsıyor. Yardımcı uçta, GitHub Copilot bir geliştirici yazarken sonraki birkaç satırı öneriyor. Bir seviye yukarıda, Cursor gibi çok dosyalı editörler bir geliştiricinin yönlendirmesiyle kod tabanında yeniden yazma yapıyor ve geliştiricinin belirttiği değişiklikleri uyguluyor. Otonom uçta ise Devin ve benzeri sistemler uzun süreler boyunca bağımsız olarak çalışıyor, ne okuyacağı, neyi değiştireceği ve neyi test edeceği konusunda sıralı kararlar alıyor ve yalnızca sistemin tek başına halledemeyeceği onaylar için ortaya çıkıyor.

Bu araçlar arasındaki ilerlemeyi ölçen değerlendirme çerçevesi, Princeton ve Stanford’daki araştırmacılar tarafından oluşturulan SWE-bench. Ajanları, açık kaynaklı Python depolarındaki — Django, Flask, scikit-learn — gerçek hata raporları üzerinde test ediyor ve bir ajanın yüzde kaçını doğru şekilde kapatabildiğini ölçüyor. Seçilmiş Verified alt kümesinde yayınlanan en yüksek puan olan yüzde 96, Claude Opus 5’e ait. Bu sayı, gerçek bir yazılım hatasını teşhis etme, bir düzeltme yazma ve projenin kendi testlerinden geçtiğini doğrulama yeteneği olan gerçek bir kapasiteyi temsil ediyor.

Kıyaslamanın gizledikleri

Yüzde 96’lık puan önemli bir yıldız işaretiyle geliyor. SWE-bench Verified, dikkatle seçilmiş 500 görevden oluşuyor. Araştırmacılar kontaminasyona dirençli bir varyant uyguladığında — herhangi bir modelin eğitim verilerinde yer almamış olması gereken problemler kullanılarak tasarlanan SWE-bench Pro — Verified’da yüzde 80’in üzerinde puan alan daha eski bir model, Pro’da yüzde 50’nin altına düştü. Bazı kıyaslama performansları, genelleştirilmiş problem çözme yeteneğinden ziyade, değerlendirme setine aşinalığı yansıtıyor. Bu fark, herhangi bir spesifik aracın eleştirisi değil, bilinen bir araştırma zorluğudur.

Ayrı bir çalışma, açıklanması daha zor bir şey buldu. Bir yapay zeka güvenliği araştırma kuruluşu olan METR, kendi depoları üzerinde çalışan deneyimli açık kaynak geliştiricilerle randomize kontrollü bir deney yaptı. Mevcut yapay zeka kodlama araçlarını kullanan geliştiriciler, onları kullanmayanlara göre yüzde 19 daha yavaştı — bağımsız olarak yüzde 20 daha hızlı olduklarını tahmin etmelerine rağmen. Nedenler spesifikti: ajan yanlış sonuçlar ürettiğinde yeniden yönlendirme için harcanan zaman, birleştirmeden önce çıktıları doğrulamak için harcanan zaman ve bir ajanı yönlendirmekle ajanın yaptıklarını takip etmek arasında geçiş yapmanın bilişsel yükü. Bir kıyaslama, bir ajanın izole bir ortamda iyi tanımlanmış bir hatayı kapatıp kapatamadığını test eder. Randomize bir deney ise bir geliştiricinin gerçek bir gün boyunca daha hızlı çalışıp çalışmadığını test eder. Bunlar farklı şeyleri ölçüyor.

Yüzde 93 benimseme neden yalnızca yüzde 10 verim artışı sağladı

Kod otonomisi en iyi, sınırlı ve iyi tanımlanmış görevlerde performans gösteriyor: net girdileri ve çıktıları olan tekrarlanabilir bir hata, kesin bir spesifikasyona sahip bir fonksiyon, tanımlanmış davranışa sahip bir modül için bir test süiti. Kapsam, örtük mimari bilgi, belgelenmemiş ekip kuralları veya ürün yönü hakkında kararlar gerektiren görevlere doğru genişledikçe, güvenilirlik düşüyor — modellerin yetenek eksikliğinden değil, bu kararların gerektirdiği bağlamın sisteme sığmaması ve yalnızca kod tabanı dosyalarından türetilememesi nedeniyle.

Pratik değişim, işin gerektirdiği şeyde. Otonom ajanlarla çalışan geliştiriciler, bir ajanın yürütebileceği kadar kesin spesifikasyonlar yazmaya daha fazla zaman harcıyor: ayrıntılı hata açıklamaları, net test sözleşmeleri, açık kabul kriterleri. Yazmadıkları kodu incelemeye daha fazla zaman harcıyorlar; bu da kod yazmaktan farklı bir tür dikkat gerektiriyor — ajanın kendi kendine işaret etmeyeceği mantık hatalarını, güvenlik açıklarını ve mimari kaymaları aramak. 2026’da 121.000 geliştiriciyle yapılan bir anket, yüzde 93’ünün düzenli olarak yapay zeka kodlama araçlarını kullandığını buldu; aynı grupta pull request verimi yaklaşık yüzde 10 arttı. Darboğaz kod yazmaktan kodu incelemeye kaydı.

Aktif geliştirme aşamasındaki bir sonraki adım, kendi görev kuyruklarını yöneten ajanlar: bir proje spesifikasyonu almak, bunu alt görevlere bölmek, uzmanlaşmış modeller arasında dağıtmak ve yalnızca insan yargısı gerektiren kararları ortaya çıkarmak. Çok ajanlı kodlama orkestrasyonu için birkaç açık kaynak çerçevesi 2026’da piyasaya sürüldü. Üretim ortamlarında kurumsal benimseme sınırlı kalmaya devam ediyor. Gartner, bu yıl başlatılan ajanik yazılım projelerinin önemli bir kısmının, ekipler kontrollü bir demoda gösterilenlerle güvenilir ölçekte dağıtımın gerektirdikleri arasındaki mesafeyi keşfettikten sonra 2028’den önce durdurulacağını öngörüyor.

Etiketler: yapay zeka, Programlama, AI coding agents, kod özerkliği, yazılım geliştirme