מראה HN: מודל טקסט הגון לדימוי שהוכשר ל-#036;20K (Apache 2.0 Weights) (Score: 150+ ביום אחד) Link: Comments: אחי ואני מנהלים מעבדה דו-אדם שמרכבה את דגמי הוידאו הניו יורקיים שלנו מאפס. המטרה הסופית היא קבוצה של כלים יצירתיים שהופכים את זה לקל יותר עבור כל אחד לעשות אנימציה. דגמי וידאו כיום הם איטיים מדי / expensive וחסרים מספיק שליטה. יצירתיות היא תהליך יצירתי. אתה עושה את זה, אתה טוב יותר. לדעתנו, הם עדיין לא ניתנים לתיאור לסיפור סיפורים. כאשר החלטנו לבנות את Linum v3 (מודל הווידאו הבא שלנו) מוקדם יותר השנה, המטרה העיקרית הייתה להביא את המעטפה עלות של ההפרעה באופן משמעותי. אם המודל שלנו מהיר וזול, זה הצעד הראשון (של רבים) לכלים יצירתיים שימושיים. בדרך כלל, אתה רואה "מודלים דיפוזיה לא עקביים". VAE (Variational Autoencoder) דחוס את נתוני הקלט לתוך "מרחב לא עקבי" קטן יותר מודל דיפוזיה לומד כיצד ליצור בתוך תת-קרקעית זו. בחודשים האחרונים, אנו מפרסמים את עבודתנו על מודלים יעילים של פיקסל-מרחב. אלה זורקים את ה- VAE, לאחר שמודל דיפוזיה למד את החלל המאוחר מותאם למשימה המדויקת שלו. זה משרת 3 מטרות: 1) הגדלת ארכיטקטורת (לא אימון מודל שני שלבים) 2) תנופה מהירה (11x התכנסות מהירה יותר לעומת עמיתנו הדיפוזיה המנוח) 3) הפחתה זולה יותר (4x יותר הפחתה אגרסיבית של תשומת לב, ללא אובדן משמעותי באיכות) בחודש שעבר היינו לחצים לבחון את האדריכלות האחרונה שלנו (Pyramid-JiT) על ידי הכשרת מודל טקסט לדימוי ארוך יותר מהניסוי הטיפוסי. באופן ספציפי, הזמנו אותו ל-#036;20K על דגימות 660M. הופתענו מאיכות התוצאות, ולכן חשבנו שאנחנו משחררים אותן כמשקל פתוח לקהילה (Apache 2.0). המחקר עצמו כבר פומבי באתר האינטרנט שלנו.