Teknoloji

Elon Musk: Grok 4.8, xAI yazılımını sıfırdan C/C++ ile yeniden yazdığı için gecikti

Yeni Grok, xAI'ın modelleri eğitmek ve sunmak için kullandığı açık kaynaklı araçları bir kenara atması nedeniyle gecikti. Musk sonucu "henüz inanılmaz değil" olarak nitelendiriyor ve bu yeniden yazımın Grok 5'te karşılığını vereceğine güveniyor.
Adrian Kessler
Bizi Google'a ekleyin

Elon Musk‘ın Grok’la ilgili son açıklamasındaki asıl ilginç nokta kullanılan programlama dili değil. Açıklamanın satır aralarındaki itiraf: Yeni model gecikti, çünkü modeli eğitmek ve kullanıma sunmak için yararlanılan açık kaynaklı altyapıyı bir kenara bırakan ekip, kendi sistemini baştan yazdı.

Bir lansman ipucu olarak okunduğunda paylaşımın tonu iyimser: Eğitim tamamlandı, değerlendirme sonuçları yükselişte, hafta bitmeden kademeli dağıtım yapılacak. Ancak sistemler açısından bakıldığında daha büyük bir şey anlatıyor. Artık SpaceX’in parçası olan xAI, ortak kullanılan çerçevelerin önünü kestiğine karar verdi ve bu modelle ondan sonrakini, araştırmacılarıyla GPU’ları arasındaki yazılımın her katmanına sahip olma üzerine kuruyor.

Grok 4.8’in ne zaman çıkacağını soran bir kullanıcıya X’te yanıt veren Musk, “JAX/SGLang’i bıraktık ve tüm RL ile çıkarım yığınını C/C++ ile sıfırdan yeniden yazdık; bu da biraz ek zaman aldı,” diye yazdı. JAX, xAI’nin eğitimde kullandığı Python tabanlı sayısal kütüphane; SGLang ise büyük dil modellerini kullanıma sunmaya yönelik açık kaynaklı bir çerçeve. Musk, “SFT verilerinde epey temizlik yapmak gerektiğini” belirterek ön eğitimin tamamlandığını söyledi. Sözünü ettiği SFT, denetimli ince ayar kümesi. “Şimdi 4.8, RL aşamasında ve değerlendirme sonuçları yükselmeye başladı.”

Bu açıklama, Musk’ın kendisinin yarattığı takvim boşluğunu da anlatıyor. Eylül ortasında modeli, “yeni C++ yazılım yığınımızla eğitilmiş 2,5 trilyon parametreli bir model” diye tanıtmış; “eğitimi bu hafta tamamlayıp RL’ye başlayacağını” söylemişti. Aynı dönemde, Analytics India Magazine’in aktardığına göre, takviye öğrenimi tarafını “hâlâ farklı üçüncü taraf yazılım sistemlerinden oluşan, bir ölçüde eski bir yığın” diye nitelemiş ve bunun “zamanı gelince” düzeltileceğini belirtmişti. Ekim sonlarına doğru ise şöyle yazıyordu: “Beklenenden uzun sürdüğünün farkındayım ama Grok 4.8 hayal kırıklığı yaratmayacak.” Meğer gecikmenin nedeni, çözümün kendisiymiş. Ön eğitim kodu zaten yeniydi; modelin nasıl davranacağını öğreten bölümle kullanıcılara yanıt veren kısmın, model ilerleyebilmeden önce yeniden kurulması gerekiyordu.

Manşetlerdeki “C++ ile yeniden yazım” ifadesinde kullanılan dil aslında çoğunlukla C. Musk, hangi dilin kullanıldığı sorusuna “Biraz C++ ile C, ama çok fazla değil,” yanıtını verdi. Yığının, SpaceX mühendislerinin Starlink için yazdığı yazılımdan türediğini söylüyor (“SpaceX’te kendi başlık dosyalarımızı yazar, zamanlamamızı kendimiz hesaplardık,” diye de ekledi). Eylül ayında da ön eğitim kodunun Starlink ekibi tarafından yazıldığını ve “yapay zekâ tarafından yazılmadığını” söylemiş, gerekçe olarak “Yapay zekâ, son derece yüksek performanslı yazılımlar geliştirecek kadar iyi değil (ama olacak),” demişti.

Bu yaklaşımın gerekçesi ilkbahardan beri kamuoyuyla paylaşılıyor. Musk, mayıs sonlarında SpaceX’in C ile şirket içinde geliştirdiği bir eğitim yığınını neredeyse tamamladığını söylemişti. Bu yığın, 220.000 Nvidia GB300 yongasından oluşan bir kümeye “bire bir eşleştiriliyor”; büyük ölçekli eğitim çalışmalarında JAX’e kıyasla sağlayabileceği hız artışının ise “bir büyüklük mertebesinden fazla” olduğunu belirtmişti. Haziran sonunda, tüm eğitim ve çıkarım yığını yeniden yazıldığında ve “yazılım katmanlarının çoğu tamamen silindiğinde”, yaklaşık üç ay içinde “gerçekten muazzam kazanımlar” elde edileceğini vadetti. Bu takvime göre yeniden yazım yaklaşık altı hafta gecikti. Hızla ilgili iddiaların hiçbiri şirket dışında ölçülmüş değil.

Yığının sahibi olmak iki tarafı kesen bir kılıç. JAX ve SGLang’i bırakmak, xAI’yi başkalarının soyutlama katmanlarından ve sürüm takvimlerinden kurtarıyor; mühendislerinin yazılımı doğrudan belirli bir donanım parçasına göre düzenlemesini sağlıyor. Bedeli ise eğitim döngüsündeki ve hizmet sunma sürecindeki her hatanın artık yalnızca xAI’ye ait olması: Kullanıcıların karşısına çıkmadan önce dışarıdaki hiçbir topluluğun kullanmadığı bir kodda.

Musk beklentileri de ciddi biçimde aşağı çekiyor. xAI’nin 21 Eylül’de piyasaya sürdüğü modele açıkça gönderme yaparak, “Grok 4.8’in 4.7’yle hiçbir benzerliği olmayacak (çok şükür),” diye yazdı. “Henüz inanılmaz değil ama bu kez temeller doğru atıldı; dolayısıyla özel bir şeye dönüşmesini bekliyorum.” Bir saat bile geçmeden, 4.8’in Anthropic‘in Opus 5.5’iyle nasıl karşılaştırılacağı sorulduğunda şu yanıtı verdi: “O kadar iyi değil. Opus 5.5 bir başyapıt.” Asıl vaadi ise daha ileride: “Grok 5, Opus 5.5’i geçmeli; belki de bu 2 ya da 3 ay içinde gerçekleşir.”

Geri kalan her şey hâlâ belirsiz. Güncellemeleri kontrol eden izleme araçlarına göre xAI’nin haber sayfasında ve geliştirici belgelerinde modele ilişkin bir kayıt yok; model kartı, kıyaslama sonucu, fiyat bilgisi ya da API listesi de bulunmuyor. 2,5 trilyon parametre bilgisi de, yükseldiğini söylediği değerlendirme sonuçları da yalnızca Musk’ın açıklamalarına dayanıyor. Kademeli dağıtım, günü belirtilmeden, “bu hafta içinde” Grok Bot kullanıcılarına yapılacak. Musk ekim ayında bu isteklerin çoğunun “yıldırım hızında bir Grok 4.8 sürümü” tarafından karşılanacağını söylemişti.

Bu nedenle bu haftaki dağıtım, modelden çok altyapının sınanması anlamına geliyor. Model gerçek Grok Bot trafiği altında ayakta kalırsa, yeniden yazılan sistem Grok 5’in eğitileceği platform olacak. Tökezlerse, suçu atabilecekleri geride bir üst çerçeve kalmamış olacak.

Etiketler: , , , ,

Bizi Google'a ekleyin

Tartışma

0 yorum var.