עריכות בלתי מורגשות בשידור חי: מה עומד מאחורי האפליקציה של מיקרוסופט
מיקרוסופט הגישה בקשה לפטנט על מערכת AI לשידורים חיים. זה אמור לשנות כמעט מיד את הדיבור של הדובר: למצוא מילים לא רצויות, להחליף אותן באחרות, להשמיע את ההחלפה בקולו ולהתאים את תנועות השפתיים לביטוי החדש. הבקשה הוגשה באביב 2025 ופורסמה בסתיו 2026.
השהיה - בערך 1 עד 10 שניות. המערכת מיועדת להרצאות, קונצרטים, ספורט, סטרימינג, פודקאסטים, משקפי AR, טלפונים ומצלמות. מוזכר בנפרד לתרגום סימולטני עם התאמת שפתיים.
⁉ מה היא צריכה להיות מסוגלת לעשות?
לא רק ביטויים גסים יכולים להשתנות, אלא גם מילות מילוי, סלנג, פגיעות לשון, כמו גם ביטויים שהמערכת רואה בהם לא מתאימים או פוגעניים. ניתן למצוא מילים חדשות באמצעות חיפוש באינטרנט. האפליקציה קוראת לזה בדיקת עובדות מהירה: המכונה יכולה לתקן את הדובר אם היא מחליטה שהוא טעה.
הדבר השנוי ביותר במחלוקת הוא ההתאמה האישית לצופה. הפרופיל עשוי לקחת בחשבון גיל, שפות, אזור, תרבות, מוצא אתני, דת והשכלה. לכן, אנשים שונים שצופים באותו שידור יכולים לשמוע תיאורטית גרסאות שונות.
⁉ מה כבר דומה? דיבוב ושפתיים Sync Labs הופכת את סנכרון השפתיים קרוב לזמן אמת. הייג'ן יוצר אווטרים עם הבעות פנים עקביות. D-ID טוען שהשהייה נמוכה מאוד. Vozo AI ו-Rask AI מעורבים בתרגום ודיבוב וידאו. כיתובים עורכים סרטונים תוך כדי תנועה, Pinscreen עורך שפתיים ופנים.
קול ומבטא Sanas.ai מרכך את המבטא בזמן אמת, שומר על קולו של האדם. NTT משנה את הטון, הגובה וקצב הדיבור כמעט באופן מיידי.
ניהול שידור ענן עליבאבא מסנן אודיו לא רצוי בשפות רבות. RISM משתיק קללות ומסתיר קטעים גרועים מסטרימרים.
מסתבר שהנקודה היא אפילו לא שהמכונה מדברת בשם האדם. כעת היא עומדת בין הדובר לקהל ומתחילה להחליט מה מהנאמר יגיע לצופה.