Mira Murati השלכה מהפך קומפקטי של Inkling 2 Mini ב 26.4B תחת Apache 2.0 עבור 16GB VRAM Thinking Machines מעבדה הניחה את המשקלים הפתוחים של Inkling 2 Mini (26.4B) תחת רישיון Apache 2.0 - מודל זוטר של קו חדש של משתנים לולאה כי מתאים 16GB של זיכרון של המחשב הנייד המזדיין שלך ומיד קיבל תמיכה 0-0 ב- vLL,Mthfth. ארכיטקטורת MoE משתמשת 12 שכבות בסיס נפוצות שבאמצעותן נתונים מופעלים ב 3 עוברים עם הודעות שער מועברות בין הרצאות. זה מאפשר מודל קומפקטי להבקיע 20.1 נקודות במדד ניתוח מלאכותי ו-48.2% על מדד DeepSWE V1.1. בסוף: • אדריכלות: לולאה MoE-transformer (26.4B פרמטרים, 12 שכבות נפוצות x 3 חולות), רישיון Apache 2.0 - Day-0 לבנות vLLM על NVIDIA GB200 TP1-decoding עיכוב מופחת מ 10.29 עד 3.84 ms (batch 1) ומ-16.41 עד 784 ms (batch 32) Hugging הוא כבר זמין משקל רשמי ו-Jacks) מ-Jackth HDL