Radar Telegram alerts افتح Radar

يتغير vLLM 0.34.0 للعمل مع الذاكرة بشكل افتراضي: يتضمن CUDA وROCm ذاكرة تخزين مؤقت KV ممتدة، ويعتبر حجمها خاليًا من الذاكرة بعد عملية الإحماء، وأصبح استخدام ذاكرة GPU الآن 1.0. لإرجاع الفحص السابق، وفقًا لملاحظات الإصدار، يمكنك وضع علامة على -gpu-memory-utilization 0.9، وسيتم تعطيل ذاكرة التخزين المؤقت نفسها - ذاكرة التخزين المؤقت التي لا يمكن تصورها-kv. زاد MiniMAX-M3 على ذاكرة التخزين المؤقت H200 من 433 إلى 672 ألف رمز، مما يزيد من الإنتاجية عند التحميل العالي. ومع ذلك، يتم زيادة تأخير وضع العلامات في بعض النماذج بنسبة 6-18%. تمت زيادة حجم الكتلة الافتراضية من 16 إلى 64، وتمت إزالة مشغل الطراز V1، ويتوقف الآن VLLM USE V2 MODEL RUNNER=0 عن الإطلاق. أنت بحاجة إلى Face Hug 2.0 والأحدث. كتب الزملاء ما الذي يمكن أن ينفصل عن التحديث. قناة @neuro.

תרגם לעברית

Нейроканал (RU) · · المصدر

يتغير vLLM 0.34.0 للعمل مع الذاكرة بشكل افتراضي: يتضمن CUDA وROCm ذاكرة تخزين مؤقت KV ممتدة، ويعتبر حجمها خاليًا من الذاكرة بعد عملية الإحماء، وأصبح استخدام ذاكرة GPU الآن 1.0. لإرجاع الفحص السابق، وفقًا لملاحظات الإصدار، يمكنك وضع علامة على -gpu-memory-utilization 0.9، وسيتم تعطيل ذاكرة التخزين المؤقت نفسها - ذاكرة التخزين المؤقت التي لا يمكن تصورها-kv. زاد MiniMAX-M3 على ذاكرة التخزين المؤقت H200 من 433 إلى 672 ألف رمز، مما يزيد من الإنتاجية عند التحميل العالي. ومع ذلك، يتم زيادة تأخير وضع العلامات في بعض النماذج بنسبة 6-18%. تمت زيادة حجم الكتلة الافتراضية من 16 إلى 64، وتمت إزالة مشغل الطراز V1، ويتوقف الآن VLLM USE V2 MODEL RUNNER=0 عن الإطلاق. أنت بحاجة إلى Face Hug 2.0 والأحدث. كتب الزملاء ما الذي يمكن أن ينفصل عن التحديث. قناة @neuro.

المزيد على Radar

هل تريد رؤية كل التقارير لحظة بلحظة؟

مئات المصادر حول العالم، مترجمة إلى لغتك، مع تنبيهات لما يهمك.

سجّل مجانًا
Share on WhatsApp Get alerts on Telegram