Amazon, 980 Milyon Parametrik LLM'i "Doğaçlama Yetenekleri" ile Eğitti

BASE TTS olarak adlandırılan 980 milyon parametreli model, bugüne kadar oluşturulmuş en büyük metinden konuşmaya dönüştürme modelidir. Araştırmacılar, doğal dil işleme modellerinde belirli bir ölçeğin ötesine geçtiklerinde meydana gelen aynı performans sıçramalarını gözlemleyip gözlemlemeyeceklerini görmek için çeşitli boyutlarda modelleri 100.000 saate kadar halka açık konuşma verisiyle eğittiler.

Orta büyüklükteki 400 milyon parametreli modelinin – 10.000 saatlik ses verisiyle eğitilmiş – zorlu test cümlelerinde çok yönlülük ve sağlamlık açısından belirgin bir iyileşme gösterdiğini buldular.

Test cümleleri, normalde metinden konuşmaya dönüştürme sistemlerini zorlayan bileşik isimler, duygular, yabancı kelimeler ve noktalama işaretleri gibi karmaşık sözcüksel, sözdizimsel ve paralinguistik özellikler içeriyordu. BASE TTS bunları mükemmel bir şekilde ele almasa da, vurgu, tonlama ve telaffuzda mevcut modellerden önemli ölçüde daha az hata yaptı.

Araştırmacılar, "Bu cümleler, BASE TTS'nin açıkça выполнению обученной hiçbirinin olmadığı zorlu görevler içerecek şekilde tasarlanmıştır" diye açıkladı.

Modelin en büyük 980 milyon parametreli versiyonu – 100.000 saatlik sesle eğitilmiş – 400 milyon parametreli versiyonun ötesinde başka yetenekler göstermedi.

Deneysel bir süreç olmasına rağmen, BASE TTS'nin oluşturulması, bu modellerin ölçeklendikçe yeni çok yönlülük eşiklerine ulaşabileceğini gösteriyor – konuşma amaçlı yapay zeka için umut verici bir işaret. Araştırmacılar, ortaya çıkan yetenekler için optimal model boyutunu belirlemek üzere daha fazla çalışma planlıyor.

Model ayrıca hafif ve akışkan olmak üzere tasarlanmıştır, duygusal ve prozodik verileri ayrı ayrı paketler. Bu, doğal sesli konuşmalı sesin düşük bant genişliği bağlantılarında iletilmesine izin verebilir.