ضرب Hugging Face وLlama.cpp Llama لنظام التشغيل Windows في الكلمة الرئيسية لشركة Microsoft.
Lama for Windows عبارة عن أداة خفيفة الوزن لعلبة نظام Windows 11 تم الإعلان عنها كجزء من الكلمة الرئيسية لمؤتمر Microsoft. صافي المؤتمر. تقوم الأداة المساعدة، التي يبلغ وزنها 1 ميغابايت فقط، بتشغيل الشبكات العصبية المحلية بنقرة واحدة بدون وحدة تحكم وتكوين بيئة يدوي، وهذا كل شيء.
يعمل التطبيق كخادم استدلال محلي مع توافق كامل مع OpenAI وAnthropic APIs (المنفذ المحلي: 9931)، ويسمح بربط وكلاء الترميز وIDEs والإضافات بدون مفاتيح API في السحابة. يقوم المحرك تلقائيًا بمسح تكوين الكمبيوتر ويحدد مستوى تكميم الوزن الأمثل وحد السياق وحجم الدفعة ووضع فك التشفير لمقدار ذاكرة الوصول العشوائي وذاكرة الفيديو المتوفرة. حسنًا، أعني، اتضح أنه نوع من مدقق الحسابات الرمزي.
يتم تخزين جميع الأوزان في نسخة واحدة في ذاكرة التخزين المؤقت العالمية للوجوه المعانقة ومشاركتها مع أدوات أخرى، وعندما يكون النموذج غير نشط لأكثر من 5 دقائق، يتم إلغاء تحميل النموذج تلقائيًا من الذاكرة لحفظ موارد النظام. بالإضافة إلى واجهة ويب الدردشة الكلاسيكية، يتوفر التثبيت بأمر واحد في PowerShell، وسيظهر إصدار في متجر Microsoft الرسمي في المستقبل القريب.