Teknoloji

Meta, Muse Glimmer’ı tanıttı: GPU’nuzda çalışan 30B parametreli yapay zeka ajanı

Adrian Kessler

Meta, tamamen tüketici donanımında çalışan 30 milyar parametreli bir yapay zeka ajanı geliştirdi ve kaynak kodunu ücretsiz olarak yayınladı. Muse Glimmer adı verilen model, görevlerinizi Meta’nın sunucularına yönlendirmiyor. Kendi GPU’nuzda yerel olarak çalışıyor ve nicelenmiş 18 ila 20 gigabaytlık bellek ayak iziyle mevcut üst düzey tüketici ekran kartlarının sınırlarına sığıyor.

Bu önemli çünkü önceki nesil yerel modeller — son iki yılda Ollama kütüphanesini dolduran 7 milyar ve 13 milyar parametreli varyantlar — yetenekli metin üreteçleriydi ancak zayıf otonom ajanlardı. Çok adımlı akıl yürütme, yarı yolda kalan araç çağrıları ve üç adım önce ne olduğunu hatırlamayı gerektiren görevlerde zorlanıyorlardı. Muse Glimmer özellikle bu iş akışları için tasarlandı: kodlama, fonksiyon çağrıları, takvim yönetimi, dosya düzenleme ve bir araç çağrısı başarısız olduğunda otomatik olarak toparlanan çok adımlı görev dizileri.

Temel mimari, Meta’nın geçen ay API erişimini satmaya başladığı ticari model Muse Spark’ın bir damıtması. Şirket, logit damıtma ve pekiştirmeli öğrenme yoluyla kapalı amiral gemisini 24 gigabaytlık bir GPU’ya — RTX 5090, Apple’ın M5 Max’i veya M4 Max’i — sığacak bir forma sıkıştırdı. Spekülatif kod çözme, verimi daha da artırıyor: RTX 5090 modeli onsuz olduğundan 3,1 kat, M5 Max 1,8 kat, M4 Max ise 1,5 kat daha hızlı çalıştırıyor. Pratikte bu fark, duyarlı bir ajan ile sabır gerektiren bir ajan arasındaki çizgiyi belirliyor.

Model, iç içe geçmiş metin ve görüntüleri — ekran görüntüleri, belgeler, karma içerikli girdiler — işliyor ve 100’den fazla dilde çalışıyor. Yerel yapay zeka kullanıcılarının halihazırda kullandığı çerçevelerle yerel olarak bağlantı kuruyor: Ollama, LM Studio, llama.cpp, MLX. Halihazırda Hugging Face’ten modeller çekip kendi donanımınızda çalıştırıyorsanız, Muse Glimmer ek bir araç gerektirmeden bu iş akışına dahil oluyor.

Lisans Apache 2.0, yani herhangi bir ticari kısıtlama yok. Bireyler, şirketler ve araştırmacılar Meta’ya ödeme yapmadan kullanabilir. Bu, onu geliştirme çalışmaları için bile token başına ödeme gerektiren OpenAI ve Anthropic modellerinden farklı bir kategoriye koyuyor. Google’ın Gemma4-31B ve Alibaba’nın Qwen3.6-27B’si — ölçek olarak en yakın açık ağırlıklı rakipleri — karşısında Meta, Muse Glimmer’ı ajan ve genel dil modeli kıyaslamalarında boyutuna göre güçlü olarak konumlandırıyor, ancak hangi görevlerde kazandığına dair daha spesifik iddialarda bulunmuyor.

Donanım eşiği seçici olmaya devam ediyor. 18 gigabaytlık model ağırlıklarını bir GPU’ya sığdırmak, bunun için hangi GPU’nun gerektiğini hesaplayana kadar erişilebilir görünüyor. Bir RTX 5090 şu anda iki bin doların üzerinde. Apple’ın M5 Max makineleri üç bin dolara yakın başlıyor. Bu, belirli bir gelir dilimi için yerel yapay zeka; çoğu kullanıcı için bulutun yerini tutmuyor. Nicelenmiş sürüm aynı zamanda Muse Spark’ın düşük kaliteli bir kardeşi: ticari modelden gelen eğitim sinyalini miras alıyor, ancak ticari modelin kendisi değil. Meta, daha yüksek yetenekli sürüme erişim satmaya devam ediyor.

Bu sürümde değişen şey, yerel modellerin yetenekli ajan katmanı. Otonom görev tamamlama için eğitilmiş 30 milyar parametreli bir modeli çalıştırmak, aynı parametre sayısındaki bir sohbet modelini çalıştırmaktan farklı. Ayrım, modelin araç hatalarını ve çok adımlı dizileri nasıl ele aldığında — tek bir cümleyi ne kadar iyi tamamladığında değil.

Ağırlıklar, 10 Ağustos’tan itibaren Apache 2.0 lisansı altında Hugging Face’te mevcut. Meta, AMD, Arm, Dell, Intel ve Nvidia ile cihaz düzeyinde optimizasyon ortaklıklarını doğruladı ve belirli donanım yapılandırmaları için daha fazla ayarlanmış derlemelerin geleceğini belirtti. Yerel yapay zeka topluluğu, her önemli sürümde olduğu gibi modeli günler içinde strese sokacak — bu topluluğun kıyaslama sonuçları, Muse Glimmer’ın bugünden itibaren iki hafta içinde nerede durduğuna dair daha net bir resim sunacak.

Etiketler: , , , , ,

Tartışma

S kadar yorum var.