Un autre avatar en temps réel. Et ça a l'air d'être bon.
Nuance Labs publie un modèle audiovisuel et un avatar d'Emma en duplex intégral.
La start-up américaine Nuance Labs, fondée par d'anciens chercheurs d'Apple, a développé le modèle audiovisuel de base Nuflex 1.0 et a rendu public l'avatar vidéo interactif Emma, capable de mener un dialogue naturel avec une personne en temps réel directement dans le navigateur.
La plupart des avatars numériques existants sont construits sur le principe du talkie-walkie : le son est transcrit en STT, transféré en LLM, joué en TTS, puis un modèle distinct active les mouvements des lèvres.
Cette connexion crée un délai de 1,5 à 3 secondes, à cause duquel l'avatar se fige avec un aspect vitreux, en attendant la fin du tour.
Noplex élimine cette couche en combinant la perception et la génération audio et vidéo dans un seul réseau neuronal de bout en bout : le système lit en continu la tonalité, les pauses et les fluctuations de la voix de l'interlocuteur et diffuse de manière synchrone des expressions faciales et des paroles réalistes.
La principale différence entre l'avatar Emma basé sur Noplex est la capacité d'écouter et de répondre en même temps. Le modèle est capable de hocher la tête, de sourire, de donner des signaux d'écoute active (« Ah-ha », « Je vois ») et de modifier les expressions faciales directement pendant que l'utilisateur parle, sans attendre une pause.
Lors des tests aveugles effectués par Nuance Labs sur un échantillon de 1 785 questions de test, Noflex a correspondu à la vitesse de réponse d'un être humain vivant dans 89 % des cas.
Étonnamment, Emma est disponible sans inscription ni compte directement en ligne, et la société a ouvert l'accès initial à l'API Noplex Live aux développeurs.
Le lancement est accompagné de filtres de sécurité marketing : le spectacle est sous licence d'une véritable actrice, les flux sont marqués de filigranes obligatoires et le clonage direct de visages et de voix de tiers est strictement bloqué.
app.nuancelabs.ai.