يتغير vLLM 0.34.0 للعمل مع الذاكرة بشكل افتراضي: يتضمن CUDA وROCm ذاكرة تخزين مؤقت KV ممتدة، ويعتبر حجمها خاليًا من الذاكرة بعد عملية الإحماء، وأصبح استخدام ذاكرة GPU الآن 1.0. لإرجاع الفحص السابق، وفقًا لملاحظات الإصدار، يمكنك وضع علامة على -gpu-memory-utilization 0.9، وسيتم تعطيل ذاكرة التخزين المؤقت نفسها - ذاكرة التخزين المؤقت التي لا يمكن تصورها-kv. زاد MiniMAX-M3 على ذاكرة التخزين المؤقت H200 من 433 إلى 672 ألف رمز، مما يزيد من الإنتاجية عند التحميل العالي. ومع ذلك، يتم زيادة تأخير وضع العلامات في بعض النماذج بنسبة 6-18%. تمت زيادة حجم الكتلة الافتراضية من 16 إلى 64، وتمت إزالة مشغل الطراز V1، ويتوقف الآن VLLM USE V2 MODEL RUNNER=0 عن الإطلاق. أنت بحاجة إلى Face Hug 2.0 والأحدث. كتب الزملاء ما الذي يمكن أن ينفصل عن التحديث. قناة @neuro.