AMD, Taalas’ı satın alarak Nvidia’yı 48 katı hızda geçmeye bahse giriyor

AMD, yapay zeka model ağırlıklarını bellekten yüklemek yerine doğrudan silikona kalıcı olarak gömen çipler üreten Toronto merkezli girişim Taalas’ı satın alıyor. Şirketin HC1 çipi, Meta’nın Llama 3.1 8B modelinde saniyede 16.960 token üretiyor — AMD’ye göre bu rakam, Nvidia‘nın GPU’larından 48 kat, çıkarım çipi uzmanı Cerebras’tan ise 8,5 kat daha hızlı.

Taalas’ın arkasındaki teknoloji, mevcut yapay zeka çıkarımının yapısal bir verimsizliğinden yararlanıyor. Standart GPU’lar esnektir: herhangi bir modeli çalıştırabilir, talep üzerine görevler arasında geçiş yapabilir ve bir model güncellendiğinde yeniden programlanabilir. Ancak bu esneklik aynı zamanda bir darboğazdır. Her çıkarım isteğinde milyarlarca model ağırlığını yüksek bant genişlikli bellekten işlem birimlerine yüklemek, daha fazla GPU eklenerek giderilemeyecek bir gecikme yaratır.

Taalas, bu ağırlıkları üretim anında doğrudan çipin silikonuna gömüyor. Model, istek başına getirilen bellek yerine donanımda yaşıyor. AMD’nin reklamını yaptığı verimlilik rakamları, bu mimari tercihi yansıtıyor — ancak şirketin hafife almadığı bir bedeli var: belirli bir modelle üretilen bir çipin güncellenmesi, yeni bir silikon dökümü gerektiriyor. Taalas, bir model yenilemesi için yalnızca iki metal katmanının değişmesi gerektiğini ve bunun döngüyü kısalttığını söylüyor, ancak bu çipler daha yeni bir model sürümüne anında uyum sağlayamıyor.

AMD’nin entegrasyon planına göre, Taalas çipleri çıkarımın en çok zaman alan aşaması olan token üretimini üstlenirken, AMD’nin Instinct GPU’ları her isteğin başında ön doldurma ve dikkat hesaplamasını yönetecek. Birleşik sistem, AMD’nin Helios raf ölçekli platformunda çalışacak. Sabit model iş yükleri kullanan bulut operatörleri — müşteri hizmet botları, belge işleme hatları, gerçek zamanlı çeviri — için vaat, esnek GPU kümelerinin eşdeğer maliyette sunamayacağı raf başına watt başına verimlilik.

Bu hesabın, sektörün model yenileme hızına dayanıp dayanamayacağı asıl soru. Büyük laboratuvarlar artık üretim modellerini kabaca her altı ayda bir güncelliyor. Bugün Llama 3.1 8B’ye kilitlenmiş bir çip, halefi standart dağıtım hedefi haline geldiğinde emekliye ayrılmak zorunda kalabilir. Taalas’ın iki metal katmanı yenileme iddiası yardımcı olsa da, bir silikon dökümü hala aylar sürüyor — modeller donanım döngülerinden daha hızlı yenilenirken kayda değer bir gecikme.

Satın alma, Nvidia’nın aynı çıkarım hızı sorununa farklı bir yaklaşım getiren Groq’u bildirilen 20 milyar dolara satın almasından yedi ay sonra gerçekleşiyor. Groq’un tensor akış işlemcileri de verimlilik için optimize edilmiş ancak farklı modelleri yükleme yeteneğini koruyor. AMD, tam tersi bahsi yapan bir girişim için açıklanmayan ancak muhtemelen daha küçük bir meblağ ödüyor.

Alıcılar için Taalas satın alması, katalogdan ziyade yol haritasına ait. 20 milyar parametreye kadar modelleri hedefleyen HC2 çipi henüz geliştirme aşamasında. 48 kat benchmark’ı, HC1 için belirli koşullar altında geçerli — karma trafik ve değişken parti boyutlarıyla gerçek dünya dağıtımları farklı sonuçlar verecektir. Anlaşmanın kapanışı, düzenleyici onayına bağlı olarak 2026’nın dördüncü çeyreğinde bekleniyor. HC1, Şubat ayında 6nm ile piyasaya sürüldü; HC2’nin çıkış tarihi ve hedef işlem düğümü henüz doğrulanmadı.

Etiketler: nvidia, yapay zeka çipleri, AMD, AI inferans, Taalas