Radar Telegram alerts باز کردن Radar

vLLM 0.34.0 משנה את העבודה עם זיכרון כברירת מחדל: CUDA ו-ROCm כוללים מטמון KV מורחב, גודלו נחשב חופשי מזיכרון לאחר התחממות, ניצול זיכרון gpu הוא עכשיו 1.0. כדי להחזיר את הסימון הקודם, על פי ההערות עבור השחרור, אתה יכול לדגל -gpu-memory-utilization 0.9, ואת המטמון עצמו disables - לא ניתן להעלות על הדעת-kv-cache. MiniMAX-M3 על המטמון H200 גדל מ-433 עד 672 אלף אסימונים, אשר מעלה את התפוקה בעומס גבוה. עם זאת, העיכוב בסימון בדגמים מסוימים גדל ב-6-18%. גודל בלוק ברירת המחדל גדל בין 16 ל-64, הרץ מודל V1 הוסר, ואת VLLM USE V2 MODEL RUNNER=0 עכשיו טיפות ההשקה. אתה צריך חיבוק פנים 2.0 וחדש יותר. מה עוד יכול לשבור עם העדכון, עמיתים כתבו. ערוץ @neuro

תרגם לעברית

Нейроканал (RU) · · منبع

vLLM 0.34.0 משנה את העבודה עם זיכרון כברירת מחדל: CUDA ו-ROCm כוללים מטמון KV מורחב, גודלו נחשב חופשי מזיכרון לאחר התחממות, ניצול זיכרון gpu הוא עכשיו 1.0. כדי להחזיר את הסימון הקודם, על פי ההערות עבור השחרור, אתה יכול לדגל -gpu-memory-utilization 0.9, ואת המטמון עצמו disables - לא ניתן להעלות על הדעת-kv-cache. MiniMAX-M3 על המטמון H200 גדל מ-433 עד 672 אלף אסימונים, אשר מעלה את התפוקה בעומס גבוה. עם זאת, העיכוב בסימון בדגמים מסוימים גדל ב-6-18%. גודל בלוק ברירת המחדל גדל בין 16 ל-64, הרץ מודל V1 הוסר, ואת VLLM USE V2 MODEL RUNNER=0 עכשיו טיפות ההשקה. אתה צריך חיבוק פנים 2.0 וחדש יותר. מה עוד יכול לשבור עם העדכון, עמיתים כתבו. ערוץ @neuro

بیشتر در Radar

می‌خواهید همه گزارش‌ها را لحظه‌ای ببینید؟

صدها منبع از سراسر جهان، ترجمه‌شده به زبان شما، با هشدار برای آنچه برایتان مهم است.

ثبت‌نام رایگان
Share on WhatsApp Get alerts on Telegram