Nvidia PAIR, ev GPU’larınızı birleştirerek yapay zeka ajanlarını iki kat hızlandırıyor

Nvidia‘dan PAIR (Personal AI Router – Kişisel AI Yönlendirici) adlı yeni ücretsiz bir araç, ev ağınızdaki birden fazla bilgisayara yapay zeka ajanı görevlerini yönlendiriyor ve oyun bilgisayarları, iş istasyonları ve hatta Mac’lerden oluşan koleksiyonunuzu birleşik bir çıkarım kümesi olarak ele alıyor. Fikir yeterince basit: çoğu AI yoğun bilgisayar zamanın büyük bölümünde boşta oturuyor ve yerel AI iş yükleri giderek aynı anda düzinelerce bağımsız alt görev doğuran ajanlar etrafında şekilleniyor. PAIR boşta kalan döngüleri birbirine bağlıyor.

Yazılım, en popüler iki yerel çıkarım aracı olan Ollama ve LM Studio’nun üzerinde şeffaf bir proxy olarak çalışıyor, bu nedenle mevcut kurulumlarda herhangi bir kod değişikliği gerektirmiyor. Her makineye kurulduktan sonra PAIR, yazıcınızın ağda görünmek için kullandığı protokolün aynısı olan mDNS’yi kullanarak uyumlu cihazları otomatik olarak keşfediyor. Bir baş ajan işini her zamanki gibi gönderiyor ve PAIR, her makinenin hangi modellere sahip olduğuna göre hangi makinenin hangi alt görevi üstleneceğine karar veriyor. Makineler arasında aynı kurulum gerekmiyor: Llama 3.3 çalıştıran bir oyun bilgisayarı ile Mistral yüklü bir dizüstü bilgisayar aynı iş üzerinde işbirliği yapabiliyor.

Nvidia’nın yayınladığı kıyaslama farkı somutlaştırıyor: tek bir RTX Spark dizüstü bilgisayarda 18 dakika süren beş alt ajanlı bir görev, üç cihazlı bir kümede 8 dakika 48 saniyede tamamlandı. Bu, tek bir satır kod değiştirmeden veya bulut bilişim için para ödemeden kabaca 2 kat hızlanma anlamına geliyor. Kazanç, makine sayısına ve iş yükünün doğasına göre ölçekleniyor — birçok paralel parçaya ayrılan görevler en çok fayda sağlıyor.

Önerilen okumaChatGPT Work: OpenAI, ChatGPT ve Codex’i hiç durmayan tek bir ajanda birleştiriyor

Gizlilik diğer satış noktası ve daha kalıcı olanı. Her istem, dosya ve ajan bağlamı parçası ev ağınızda kalıyor. Bulut tabanlı bir çıkarım hizmetine hiçbir şey yönlendirilmiyor; API anahtarı, kullanım ölçümü veya sorgularınızı alan bir şirket yok. Hassas belgeler — hukuki taslaklar, tıbbi notlar, kişisel yazışmalar — üzerinde ajan çalıştıran herkes için bu ayrım, kıyaslama rakamlarından daha önemli.

Uyarılar gerçek. PAIR garantili hizmet kalitesi sunmuyor: güvendiğiniz makine oyun veya video dışa aktarma için GPU’sunu uyandırırsa, PAIR bu iş yükünü mevcut olan başka bir makineye dağıtıyor. Araç açıkça, son teslim tarihinin esnek olduğu uzun süreli görevler için tasarlanmış, gecikmenin öngörülebilir olması gereken uygulamalar için değil. Ayrıca beta yazılımı. Nvidia bunu en az bir uyumlu makineye (GeForce RTX 20 serisi veya daha yeni bir kart ya da Apple M4 serisi silikon) sahip olan ve Ollama’yı zaten bildikleri varsayılan meraklılara sunuyor.

PAIR ücretsiz, açık kaynak ve şu anda Windows, macOS ve Linux’ta beta olarak mevcut. Nvidia, QoS garantileri veya kararlı bir sürüm tarihi için bir yol haritası açıklamadı. Bundan faydalanmak için pratik alt sınır, yetenekli donanıma sahip iki makinedir; bu da çoğu tek bilgisayarlı kurulumu devre dışı bırakıyor. Evde birden fazla cihazda Ollama çalıştıran kullanıcılar için giriş engeli, denemeyi haklı çıkaracak kadar düşük.

Etiketler: nvidia, Açık kaynak, yapay zekâ ajanları, yerel yapay zeka, Ollama, PAIR

Benzer içerikler

Nvidia 12,9 milyar dolara Hugging Face’i satın alıyor ve açık kaynak yapay zekanın yaşayacağına bahse giriyor

Nvidia, tek bir şirket satın almadan yapay zeka teknolojisine 27 milyar dolar yatırdı

Mac mini yapay zeka eğitimi için tasarlanmadı. OpenAI yine de on binlerce tane satın aldı

NVIDIA, yapay zeka ekonomisinin raylarını döşedi — ve kimse paralel bir hat kuramadı

Nvidia DLSS 5 sızdı: kare kazandırmak yerine kaybettiren ilk DLSS

Meta, Muse Glimmer’ı tanıttı: GPU’nuzda çalışan 30B parametreli yapay zeka ajanı