Radar התראות בטלגרם פתחו את Radar

vLLM 0.34.0 משנה את העבודה עם זיכרון כברירת מחדל: CUDA ו-ROCm כוללים מטמון KV מורחב, גודלו נחשב חופשי מזיכר…

הצג מקור

Нейроканал (RU) · · מקור

vLLM 0.34.0 משנה את העבודה עם זיכרון כברירת מחדל: CUDA ו-ROCm כוללים מטמון KV מורחב, גודלו נחשב חופשי מזיכרון לאחר התחממות, ניצול זיכרון gpu הוא עכשיו 1.0. כדי להחזיר את הסימון הקודם, על פי ההערות עבור השחרור, אתה יכול לדגל -gpu-memory-utilization 0.9, ואת המטמון עצמו disables - לא ניתן להעלות על הדעת-kv-cache. MiniMAX-M3 על המטמון H200 גדל מ-433 עד 672 אלף אסימונים, אשר מעלה את התפוקה בעומס גבוה. עם זאת, העיכוב בסימון בדגמים מסוימים גדל ב-6-18%. גודל בלוק ברירת המחדל גדל בין 16 ל-64, הרץ מודל V1 הוסר, ואת VLLM USE V2 MODEL RUNNER=0 עכשיו טיפות ההשקה. אתה צריך חיבוק פנים 2.0 וחדש יותר. מה עוד יכול לשבור עם העדכון, עמיתים כתבו. ערוץ @neuro

עוד דיווחים ב-Radar

רוצים לראות את כל הדיווחים בזמן אמת?

מאות מקורות מכל העולם, מתורגמים לעברית, עם התראות על מה שחשוב לכם.

התחברו בחינם
שתף בוואטסאפ קבלו התראות בטלגרם

📢 עקבו בערוץ הוואטסאפ