صورة رمزية أخرى في الوقت الحقيقي. ويبدو أنه جيد.

صورة رمزية أخرى في الوقت الحقيقي. ويبدو أنه جيد.

تنشر Nuance Labs نموذجًا صوتيًا ومرئيًا ثنائي الاتجاه وصورة رمزية لـ Emma.

قامت شركة Nuance Labs الأمريكية الناشئة، التي أسسها باحثون سابقون في شركة Apple، بتطوير النموذج الصوتي والمرئي الأساسي Nuflex 1.0 وأصدرت للجمهور الصورة الرمزية للفيديو التفاعلي Emma، القادرة على إجراء حوار طبيعي مع شخص ما في الوقت الفعلي مباشرة في المتصفح.

تم بناء معظم الصور الرمزية الرقمية الموجودة على مبدأ جهاز الاتصال اللاسلكي: يتم نسخ الصوت باستخدام STT، ونقله إلى LLM، وتشغيله باستخدام TTS، ثم يقوم نموذج منفصل بتنشيط حركات الشفاه.

يخلق هذا الاتصال تأخيرًا يتراوح بين 1.5 و 3 ثوانٍ، مما يؤدي إلى تجميد الصورة الرمزية بمظهر مزجج، في انتظار نهاية الدور.

يقوم Noplex بإزالة هذه الطبقة من خلال الجمع بين إدراك الصوت والفيديو وتوليدهما في شبكة عصبية واحدة شاملة: يقرأ النظام باستمرار النغمة ويتوقف مؤقتًا وتقلبات صوت المحاور ويبث بشكل متزامن تعبيرات الوجه الواقعية والكلام.

يتمثل الاختلاف الرئيسي بين الصورة الرمزية لـ Emma المستندة إلى Noplex في القدرة على الاستماع والاستجابة في نفس الوقت. النموذج قادر على الإيماء والابتسام وإعطاء إشارات الاستماع النشط ("آه-ها"، "أرى") وتغيير تعابير الوجه مباشرة أثناء حديث المستخدم، دون انتظار توقف مؤقت.

في الاختبار الأعمى الذي أجرته Nuance Labs لعينة مكونة من 1,785 سؤال اختبار، نجح Noflex في مطابقة سرعة استجابة الإنسان الحي بنسبة 89% من الوقت.

والمثير للدهشة أن Emma متاحة بدون تسجيل أو حسابات مباشرة عبر الإنترنت، وقد فتحت الشركة إمكانية الوصول الأولي إلى Noplex Live API للمطورين.

يرافق الإطلاق فلاتر أمان تسويقية: يتم ترخيص الأداء من قبل ممثلة حقيقية، ويتم تمييز التدفقات بعلامات مائية إلزامية، ويتم حظر الاستنساخ المباشر لوجوه وأصوات الجهات الخارجية بشكل صارم.

app.nuancelabs.ai.