הנושא של ניתוב בקשות בודדות לדגמים שונים הוא תחום מפותח; אנחנו בעצמנו ב-איננטו עשינו את זה כבר כמעט תריסר ש…

הנושא של ניתוב בקשות בודדות לדגמים שונים הוא תחום מפותח; אנחנו בעצמנו ב-איננטו עשינו את זה כבר כמעט תריסר שנים. ולעזאזל, אני בהחלט מופתע מהערכת השווי של OpenRouter והמכירה שלהם ל-פס. העבודה הנוכחית עוסקת במשהו אחר - ניתוב אסימונים בודדים בין דגמים שונים, למשל, לפי "מורכבות" האסימון (אנטרופיה). כאשר האנטרופיה גבוהה, אנו נותנים את הדור לדגם כבד יותר. כשהכל פשוט, אנחנו מייצרים עם דגם קטן. הדבר המעניין ביותר בעבודה, IMHO, הוא התקורה העצומה לכל המכונות הנלוות אם הדבר הזה לא מותאם. TokenRouter: מערכת הגשה יעילה לניתוב LLM ברמת אסימון טיאניו פו, טנגשואן ליו, רואוקסי וואנג, יי ג'י, יו וואנג נייר: קוד: דגם: לא זמין

סקירה: מה הם עשו: המחברים הציגו את TokenRouter - זמן ריצה על גבי SGLang לניתוב LLM שלב אחר שלב, שבו הדור עובר בין דגמים קטנים לגדולים באסימונים בודדים. בפנים -. API של שלוש פונקציות, תת-שרתים אסינכרוניים לכל דגם, שמירת מצב המטמון KV בין שיחות, ומתזמן אצווה עצלן ברשתות מרקוב. מה קיבלנו: על 5 אלגוריתמי ניתוב בבעיות חשיבה של AIME2024 ותרחישי סוכן SWE-Smith עם 4 בקשות מקבילות, התפוקה נעה בין 76.6 ל-290.3 אסימון/שניות לעומת 4.5-63.1 אסימון/שניות עבור קו הבסיס המבוסס על זרימה ב-SGLang-7 לעלייה רשמית של SGLang ל-73. 2.01x–64.15x). בנתב R2R, עם 8 בקשות, המהירות עלתה מ-134.9 ל-372.5 אסימונים/שניות (2.76x, מתוכם פי 1.71 עקב גרפי CUDA). עם 16 בקשות, המערכת מתגברת על R2R ב-3.61x באותה מקבילה (או פי 18.58 על פני R2R עם בקשה אחת, עם מהירות של 1.13x למשתמש).