Natural Language Processing
Speech & Audio
কার্যকর বহুভাষিক স্পিচ-টু-স্পিচ অনুবাদের জন্য ডিফিউশন সিন্থেসাইজার
Author
Venue
ইন্টারস্পিচ ২০২৪
Abstract
আমরা DiffuseST উপস্থাপন করছি, একটি কম-লেটেন্সি, সরাসরি স্পিচ-টু-স্পিচ অনুবাদ সিস্টেম যা একাধিক উৎস ভাষা থেকে ইংরেজিতে অনুবাদ করার সময় ইনপুট বক্তার ভয়েস জিরো-শট সংরক্ষণ করতে সক্ষম। আমরা স্থাপত্যের সিন্থেসাইজার উপাদানের সাথে পরীক্ষা-নিরীক্ষা করেছি, একটি Tacotron-ভিত্তিক সিন্থেসাইজারকে একটি নতুন ডিফিউশন-ভিত্তিক সিন্থেসাইজারের সাথে তুলনা করে। আমরা দেখতে পাই যে ডিফিউশন-ভিত্তিক সিন্থেসাইজার MOS ও PESQ অডিও গুণগত মানের মেট্রিক্স প্রতিটি ক্ষেত্রে ২৩% উন্নতি এবং স্পিকার সাদৃশ্য ৫% বৃদ্ধি করেছে, একই সাথে তুলনামূলক BLEU স্কোরও বজায় রেখেছে। প্যারামিটার সংখ্যা দ্বিগুণেরও বেশি থাকা সত্ত্বেও, ডিফিউশন সিন্থেসাইজারের ল্যাটেন্সি কম, যা পুরো মডেলটিকে বাস্তব-সময়ের তুলনায় ৫ গুণ দ্রুত চালাতে সক্ষম করে।
