Meituan הוציאה את LongCat-Video-Avatar 1.6 - גרסה חדשה לדיבור, אלוהים, אווטארים לשיר שנמשכים יותר מ-10 דקות
חרא ומקלות בקוד פתוח הם בדרך כלל מאוד משעממים להגיב עליהם. אבל יש סיבה להירגע קצת. מחברים - חברת Meituan - פלטפורמת "החיים המקומיים" הגדולה בסין (אפליקציה-על לשירותים מקומיים): משלוח מזון, קמעונאות "מיידית", קופונים/הזמנות לשירותים לא מקוונים, מלונות ונסיעות, תחבורה/שיתוף אופניים ושירותים לעסקים. החברה מייצרת רווחים מעמלות מהזמנות, פרסום בתוך האקוסיסטם וכלי B2B בתשלום עבור מוכרים.
זה נכון, אנשי משלוחי מזון מתאמנים כעת מודלים בסיסיים ליצירת וידאו.
והשליחים האלה הוציאו, תחת רישיון MIT, את המשקולות של הדגם החדש של LongCat-Video-Avatar 1.6, שהופך רצועת צילום ואודיו לדמות מדברת או שרה. השדרוג בהשוואה לגרסה 1.5 מתמקד בסינכרון שפתיים טבעי, שמירה על זהות בסרטונים של יותר מ-10 דקות, וזירוז מסקנות.
הדגם בנוי על בסיס השליח הבסיסי LongCat-Video ותומך ביצירת דמות אחת ומספר דמות (אודיו-טקסט-לווידאו, אודיו-תמונה-טקסט-לווידאו ומצבי המשך מונעי אודיו). במהדורה 1.6, המפתחים דיכאו חפצים אופייניים של הגרסה הקודמת - ביטוי היפרטרופי, שפתיים אדומות באופן לא טבעי והצטברות שגיאות במהלך המשך וידאו אוטורגרסיבי. עקב אופטימיזציה של צינורות, ההסקה מתאימה ל-8 שלבים דה-noising עם ערבוב של שני מתאמי LoRA: ב-N השלבים הראשונים (--mix_steps=N), DMD LoRA (loraA) ו-OPSD LoRA (loraB) מעורבבים עם מקדם mix_alpha, ו-8 - N השלבים הנותרים מושלמים על ידי OPSD.
כדי לחסוך בזיכרון, הערכה כוללת DiT checkpoint base_model_int8 (במשקל בלבד INT8, מופעל על ידי דגל --use_int8), ו-FlashAttention-2 מופעל כברירת מחדל (נתמכים גם FlashAttention-3 ו-xformers). בהשוואה אנושית עיוורת ארנה (33,051 הצבעות בין 6 מערכות) LongCat-Video-Avatar 1.