Hugging Face و Llama.cpp در سخنرانی اصلی مایکروسافت به Llama برای ویندوز رسیدند.
Lama برای ویندوز یک ابزار سبک وزن سیستم سینی ویندوز 11 است که به عنوان بخشی از کنفرانس مایکروسافت معرفی شد. NET Conf. این ابزار که تنها 1 مگابایت وزن دارد، شبکه های عصبی محلی را با یک کلیک بدون کنسول، پیکربندی دستی محیط راه اندازی می کند و تمام.
این برنامه به عنوان یک سرور استنتاج محلی با سازگاری کامل با OpenAI و API های Anthropic (پورت localhost:9931) عمل می کند و اجازه می دهد تا عوامل برنامه نویسی، IDE ها و برنامه های افزودنی را بدون کلیدهای API در فضای ابری متصل کنید. موتور به طور خودکار پیکربندی رایانه را اسکن می کند و سطح بهینه وزن، محدودیت زمینه، اندازه دسته ای و حالت رمزگشایی را برای مقدار RAM و حافظه ویدیویی موجود انتخاب می کند. خب، منظورم این است که معلوم میشود او یک حسابرس نمادین است.
همه وزنها در یک نسخه در حافظه پنهان جهانی چهرههای در آغوش گرفته ذخیره میشوند و با ابزارهای دیگر به اشتراک گذاشته میشوند و زمانی که بیش از 5 دقیقه غیرفعال باشد، مدل بهطور خودکار از حافظه خارج میشود تا منابع سیستم ذخیره شود. علاوه بر رابط وب چت کلاسیک، نصب با یک فرمان در PowerShell در دسترس است و نسخه ای از آن در فروشگاه رسمی مایکروسافت در آینده نزدیک ظاهر خواهد شد.