llm-d 1.0: Red Hat, IBM, Google ve Nvidia, yapay zekânın asıl faturasının çıkarım olduğuna oynuyor

Üç yıldır yapay zekâ tartışması en büyük modeli kimin yapacağı etrafında dönüyor. Daha az göz alıcı soru — bu modeli günde milyonlarca kez, çökmeden yanıt verir halde tutmanın maliyeti — paranın bugün sızdığı yer. Red Hat, IBM, Google Cloud, CoreWeave ve Nvidia’nın başlattığı açık kaynaklı çıkarım projesi llm-d 1.0 sürümüne ulaştı ve doğrudan bu sızıntıyı hedefliyor.

Mekanizmayı açıkça söylemek gerekiyor. Bir yapay zekâ ajanı tek bir soru sorup gitmez. Uzun oturumları açık tutar, aynı belgeleri tekrar tekrar okur ve donanıma öngörülemeyen dalgalar halinde yüklenen paralel yardımcılar başlatır. Bu düzende bağlamı yönetmek, yanıtı üretmekten daha pahalıya gelebilir. CoreWeave’in yapay zekâ/makine öğrenimi mühendisliğinden sorumlu başkan yardımcısı Shadi Saba’ya göre büyük ölçekte model sunan her ekip, “yönetimi çoğu zaman çıktının kendisinden daha pahalı olan bağlam” sorunuyla karşılaşıyor. llm-d’nin yanıtı yönlendirme: her isteği, bağlamını sıfırdan yeniden hesaplamak yerine o bağlamı zaten önbelleğinde tutan sunucuya göndermek.

1.0 sürümü yeni numaralardan çok, mevcut olanları aylarca güvenle çalıştırabilmeye odaklanıyor. Proje zaten önbellek farkındalıklı yönlendirme, KV önbelleğinin dışarı aktarılması ve prefill ile decode aşamalarının farklı makinelere ayrılması gibi özellikleri vLLM ve SGLang gibi model sunucularının üzerinde sunuyordu. Yeni sürüm, gecikmeye duyarlı isteklerle dalgalı çalışan ajanların aynı GPU filosunu birbirini aç bırakmadan paylaşabilmesi için öncelik ve adalet denetimleri, kesintisiz güncellemeler için yüksek erişilebilirlikli bir yönlendirici, kararlı bir v1 yapılandırma API’si ve çok turlu konuşmaları önbellekteki durumlarına yakın tutan oturum farkındalıklı yönlendirme ekliyor.

Önerilen okumaIQM 23 kuantum bilgisayarı sattı, atılım hiç gelmeyebilir uyarısı yaptı

Duyurudaki performans rakamları katkıcıların kendi gösterimlerinden geliyor; bu yüzden bağımsız denetim değil, iddia olarak okunmalı. Bunlardan birinde araştırmacılar, yaklaşık 753 milyar parametreli açık ağırlıklı bir model olan GLM 5.2’yi yaygın kullanılan Nvidia GPU’larında sundu; zirvede dakikada 6,6 milyonun üzerinde çıktı token’ına ve aynı anda 3.000’e kadar kodlama ajanına ulaşıldı. Araştırmacılara göre güncel bulut kiralama fiyatlarıyla token başına maliyet, eşdeğer ticari API fiyatlarından beş ila on kat daha düşük çıktı. IBM Research ise kuantum hata düzeltmesine yönelik bir çip tasarım projesinde tamamen tescilli bir yapılandırmaya kıyasla 11,5 kat daha düşük çıkarım maliyeti ve yaklaşık yüzde 98’lik önbellek isabet oranı bildiriyor.

Daha anlamlı olan, buna şimdiden kimlerin dayandığı. JetBrains, llm-d’nin kodlama ajanının ücretsiz planı Junie Lite’ın trafiğinin önemli bir bölümünü karşıladığını söylüyor; DigitalOcean sunucusuz çıkarım hizmetini bunun üzerinde çalıştırıyor, Mistral ve Roblox da sunma katmanlarını proje üzerine kurduklarını anlatıyor. Google Cloud 1.0’ı tüm TPU ve Nvidia GPU portföyünde Google Kubernetes Engine’e entegre ederken AMD de onu Instinct hızlandırıcılarına taşıyor.

2025’te kurulan ve bugün Cloud Native Computing Foundation tarafından yönetilen llm-d’nin 25’ten fazla kuruluştan 500’ü aşkın katkıcısı var. 1.0 sürümü 20 Ekim 2026’da San Jose’de duyuruldu ve şimdiden açık kaynaklı yazılım olarak kullanılabiliyor.

Sonuç, bir güç kayması. Yapay zekânın pahalı kısmı eğitmek değil de sunmaksa, sunma katmanını kontrol eden faturayı da kontrol eder. llm-d, bu katmanın tek bir sağlayıcının API’sine kilitlenmek yerine ortak ve açık kalmasını sağlama girişimi.

Etiketler: nvidia, yapay zekâ ajanları, IBM, büyük dil modelleri, CoreWeave, Red Hat

Benzer içerikler

Yapay zekâ eski oyunların kaynak kodunu çıkarmayı kolaylaştırdı; decomp.dev liderlik tablosunu kapattı

Dragonkin: The Banished ve topluluk tarafından şekillenen RPG geliştirme anlayışının yükselişi

Microsoft bir ayda Windows’un 570 güvenlik açığını kapattı. Çoğunu yapay zeka buldu

Motorola Signature 27, GrapheneOS destekleyen ilk Pixel dışı telefon olacak

Epic, Marvel ve Star Wars nişancı oyununu erteledi ve elle kod yazmayı yasakladı

ChatGPT artık Excel ve Google Sheets’in içinde yaşıyor ve siz bakarken formüllerinizi düzenliyor