vLLM 0.34.0 משנה את העבודה עם זיכרון כברירת מחדל: CUDA ו-ROCm כוללים מטמון KV מורחב, גודלו נחשב חופשי מזיכרון לאחר התחממות, ניצול זיכרון gpu הוא עכשיו 1.0. כדי להחזיר את הסימון הקודם, על פי ההערות עבור השחרור, אתה יכול לדגל -gpu-memory-utilization 0.9, ואת המטמון עצמו disables - לא ניתן להעלות על הדעת-kv-cache. MiniMAX-M3 על המטמון H200 גדל מ-433 עד 672 אלף אסימונים, אשר מעלה את התפוקה בעומס גבוה. עם זאת, העיכוב בסימון בדגמים מסוימים גדל ב-6-18%. גודל בלוק ברירת המחדל גדל בין 16 ל-64, הרץ מודל V1 הוסר, ואת VLLM USE V2 MODEL RUNNER=0 עכשיו טיפות ההשקה. אתה צריך חיבוק פנים 2.0 וחדש יותר. מה עוד יכול לשבור עם העדכון, עמיתים כתבו. ערוץ @neuro