Nvidia Yeni Bir Araçla GenAI Modellerini Bilgisayarınızda Çalıştırabileceğinizi Duyurdu

"Chat with RTX" isimli araç, kullandığınız belgeler, dosyalar ve notları tarayarak ChatGPT gibi GenAI modellerini özelleştirmenize imkan tanıyor. Nvidia'nın blog yazısında belirttiği gibi, "Kullanıcılar notlarını veya kaydedilmiş içeriklerini aramaktansa, artık doğrudan soru sorabilecekler. Örneğin, 'Las Vegas'ta eşimin önerdiği restoran hangisiydi?' diye sorabilirsiniz. Chat with RTX, ona yönlendirdiğiniz yerel dosyaları tarayarak cevabı ve ilgili bilgileri size sunacak."

Chat with RTX varsayılan olarak Mistral isimli bir yapay zeka girişiminin açık kaynak kodlu modelini kullanıyor, fakat Meta'nın Llama 2 gibi diğer metin tabanlı modelleri de destekliyor. Nvidia, gerekli dosyaları indirmenin 50 ila 100 GB arasında depolama alanı tüketebileceği konusunda uyarıyor.

Şu an itibariyle Chat with RTX, metin, PDF, .doc, .docx ve .xml formatlarını destekliyor. Uygulamayı desteklenen dosyaların bulunduğu bir klasöre yönlendirirseniz, dosyalar modelin ince ayar veri setine yükleniyor. Ayrıca, Chat with RTX, bir YouTube çalma listesinin URL'sini alarak çalma listedeki videoların metinlerini yükleyebiliyor ve seçtiğiniz modelin bu içerikleri sorgulamasını sağlıyor.

Elbette, bazı sınırlamalar da mevcut. Nvidia, açıkça belirttiği gibi, Chat with RTX soru geçmişini hatırlayamıyor. Yani, birden fazla soru sorarken önceki sorularınız dikkate alınmayacak. Örneğin, "Kuzey Amerika'da yaygın bir kuş hangisi?" diye sorup ardından "Renkleri neler?" diye devam ederseniz, Chat with RTX kuşlardan bahsettiğinizi anlamayacak.

Nvidia, uygulamanın cevaplarının alakalılığının da çeşitli faktörlerden etkilendiğini kabul ediyor. Bu faktörler arasında soru şekli, seçilen modelin performansı ve ince ayar veri setinin büyüklüğü gibi hem kontrol edilebilen hem de kontrol edilemeyen unsurlar bulunuyor. Birkaç belgede geçen bir bilgiyi sormak, bir belgenin veya belge grubunun özetini istemekten daha iyi sonuçlar verecektir. Ayrıca, daha fazla veri setiyle ve Chat with RTX'i belirli bir konu hakkında daha fazla içeriğe yönlendirerek cevap kalitesi genel olarak artacaktır.

Yani, Chat with RTX şu an için profesyonel kullanım için uygun değil, daha çok bir deneme aracı gibi görünüyor. Fakat yapay zeka modellerini yerel olarak çalıştırmayı kolaylaştıran uygulamalarda, artan bir trend olduğunu da belirtmek gerekiyor.

Dünya Ekonomi Forumu yakın tarihli bir raporunda, bilgisayarlar, akıllı telefonlar, Nesnelerin İnterneti cihazları ve ağ ekipmanları dahil olmak üzere uygun fiyatlı cihazlarda GenAI modellerini çevrimdışı çalıştırmanın "hızlı bir şekilde artacağını" öngördü. WEF, nedenlerini de açıkladı: Çevrimdışı modeller, verilerin cihazdan ayrılmamasını sağladığı için daha gizli ve bulut tabanlı modellere göre daha düşük gecikme süresi ve daha uygun maliyet sunuyorlar.

Elbette, model çalıştırma ve eğitme araçlarını herkese erişilebilir kılmak, kötü niyetli oyuncuların önünü açabilir. Hızlı bir Google araması, web'in karanlık köşelerinde zararlı içeriklerle ince ayarlanmış birçok model örneğini ortaya çıkaracaktır. Ancak Chat with RTX gibi uygulamaların savunucuları, faydaların zararlarından daha ağır bastığını savunuyorlar. Sonuç olarak, zaman gösterecek.