Block'un yeni ses modeli Dessa, insan sesine şaşırtıcı derecede benziyor
Block'un araştırma laboratuvarından çıkan yeni ses modeli Dessa, kahkahalar ve duraklamalar gibi ifadelerle insan sesini aratmıyor ve yerel olarak çalışabiliyor.
Jack Dorsey'in şirketi Block, araştırma laboratuvarında geliştirdiği yeni ses modeli Dessa'yı tanıttı. Bu model, tıpkı insanlar gibi gülebiliyor, duraklayabiliyor hatta ağlayabiliyor; bu da onu şaşırtıcı derecede insan sesine yaklaştırıyor. Tamamen insan konuşması üzerine eğitilen Dessa, tek bir NVIDIA GPU rafında bile çalışabiliyor.
Dessa, tıpkı OpenAI'ın bu yılın başlarında tanıttığı GPT-Live modeli gibi çift yönlü bir model. Yani aynı anda hem konuşabiliyor hem de dinleyebiliyor. Genellikle konuşma modelleri bilgi almak için büyük dil modelleriyle eşleştirilirken, Block, Dessa'nın bilgisini doğrudan eğitildiği konuşma verilerinden aldığını belirtiyor. Şirket, yapay zeka ile etkileşimin en doğal yolunun ses olduğuna inandıklarını ve bu yüzden şimdiye kadar geliştirilmiş en otantik çift yönlü konuşma modeli olan Dessa'yı yarattıklarını vurguluyor. Onunla konuşmak, duygu, nüans, duraklamalar ve doğal bir ritimle dolu bir insanla konuşmak gibi hissettiriyor.
Mevcut modellerin genellikle yapay ve rahatsız edici sesler çıkarabildiğini belirten Block, bunun nedenini konuşma üretimine yön veren metin tabanlı süreçlere bağlıyor. ElevenLabs v4 veya Fish Audio Drama 3 gibi birçok model, konuşma üretiminde duyguyu yönlendirmek için ses etiketleri kullanırken, Dorsey'in şirketi, Dessa'da duygunun doğrudan modele yerleşik olduğunu iddia ediyor. Bu duygunun bir tür etiketle yönlendirilip yönlendirilmediği henüz net değil.
Şirketin araştırmacıları, Dessa ile yapılan sohbetlerin çeşitli örneklerini paylaştı. Bu örneklerde yapay zeka, farklı ses tonları, ritimler ve duygular sergiliyor. Örneğin, bir sohbette bot yorgun olduğunu söylediğinde sesi de gerçekten yorgun geliyordu. Bir başka örnekte ise bot, kendisini rahat hissetmesini sağlayan kişiden bahsederken duygusal bir tonla neredeyse sesi çatallanıyordu. Dessa'nın bir Block ekip üyesiyle bir tahmin oyunu oynadığı örnekte ise model, ilk iki tahmini hemen doğru bildi.
Block, modelin MacBook M4 Max veya daha üstü gibi tüketici sınıfı bir bilgisayarda yerel olarak çalışabildiğini belirtiyor. Ancak şu an için Dessa'ya halka açık erişim bulunmuyor. Block, modeli test etmek için güvenlik araştırmacılarına çağrı yaptı. Bu, özellikle sesli bir yapay zekanın insanları kandırabileceği senaryoları test etmek amacıyla yapılıyor. Finans sektöründe faaliyet gösteren ve küçük işletmelere çözümler sunan Block, zaten Square aracılığıyla siparişleri yönetmek için sesli yapay zeka kullanıyor. Kendi cihaz üzerinde çalışabilen ses modeliyle, daha düşük maliyetle çok daha fazla işletme ve tüketici deneyimini güçlendirebilirler.
