OpenAI’nin Jalapeño cipi, Nvidia Blackwell’e kiyasla watt basina 1,9 kat daha verimli cikarsim yapiyor

OpenAI kendi çipini üretti. Şirket, 25 Ağustos’taki Hot Chips konferansında Jalapeño’yu tanıttı; Broadcom ile ortaklaşa geliştirilen bu silikon tasarım, inference (çıkarım) işlemlerini kilovat başına saniyede 85.448 token hızında işliyor. Mevcut pazar standardı olan Nvidia Blackwell mimarisi ise aynı metrikte 44.960’a ulaşıyor. Oran 1,9 kat.

Bu metrik önemlidir çünkü inference, yapay zekâ sistemlerinin üretimde nasıl çalıştığını belirler. Eğitim bir kez yapılır; inference ise birisi ChatGPT’ye bir sorgu gönderdiğinde, bir API kullandığında ya da bir dil modeli çalıştıran herhangi bir uygulamayla etkileşime geçtiğinde her seferinde gerçekleşir. Ölçekte inference maliyeti, yapay zekâ hizmet ekonomisinin temel itici gücüdür. Yaygın olarak kullanıldığında inference enerji tüketimini kabaca yarıya indiren bir çip, model çalıştırmanın sorgu başına maliyetini değiştirir.

Yanıt gecikmesinin sınırlayıcı faktör olduğu etkileşimli iş yüklerinde Jalapeño’nun avantajı daha da artıyor. Hot Chips sunumuna ilişkin SemiAnalysis raporu, bu kıyaslamalarda Blackwell’den 2,1 ila 4,1 kat daha iyi bir aralık belirtti. Bu dağılım, belirli görev türleri arasındaki farklılığı yansıtıyor; alt sınır daha muhafazakâr karşılaştırmayı oluşturuyor.

Çip yalnızca inference işlemlerini gerçekleştiriyor. Jalapeño’nun çalıştırmak üzere tasarlandığı modelleri üreten eğitim iş yüklerini çalıştırmıyor. Bunlar hâlâ Nvidia donanımını gerektiriyor. Broadcom, çipi ticari bir ürün olarak satmak yerine OpenAI ile özel bir tasarım anlaşması kapsamında üretti. Bu düzenleme, OpenAI’ye ticari çip pazarında rekabet etmesini gerektirmeden amaca yönelik bir inference katmanı sağlıyor.

OpenAI’nin dağıtım takvimi sınırlı. Küçük ölçekli kullanıma sunumun 2026 sonundan önce yapılması planlanıyor; daha geniş çaplı dağıtım ise 2027 hedefi. Çip hâlâ mühendislik örnekleme aşamasında, yani üretim versiyonu henüz ölçekte sevk edilmedi. Hot Chips’teki kıyaslamalar, doğrulanmış bir üretim çalışmasını değil, tasarlanan hedefi temsil ediyor. Özel silikon için konferans duyurusu ile operasyonel dağıtım arasındaki boşluk tipik olarak yıllarla ölçülür.

Bu duyuru, büyük yapay zekâ şirketleri arasında özel silikona yönelik daha geniş bir değişime işaret ediyor. Google, on yıldır üretimde kendi Tensor Processing Unit’lerini işletiyor. Amazon, AWS’de Trainium ve Inferentia’yı çalıştırıyor. Meta, kendi inference çiplerini dahili olarak kullanıyor. OpenAI’nin girişi, yüz milyonlarca aktif kullanıcı ölçeğinde, tamamen harici GPU satıcılarına güvenmenin ekonomisinin, özel bir tasarım programının maliyetini haklı çıkaracak kadar zorlaştığını doğruluyor.

Etiketler: nvidia, OpenAI, Broadcom, cikarsim, Jalapeño, yapay zeka cipi