Radar Telegram alerts باز کردن Radar

בפרויקט הפתוח smolmaxxing, הושק דגם עם 80 מיליארד פרמטרים בטלפון. ב-OnePlus Nord CE 2 משנת 2022, Qwen3-Next-80B-A3B מנפיק 2.6-3.1 אסימונים לשנייה עם שיא של כ-5GB זיכרון, Qwen3.6-35B-A3B 4.9-5.7. הספרות התחתונות מתקבלות בניתוב מדויק, והעליונות עם הסטה קלה של הנתב לטובת מומחים שכבר בזיכרון: בדגם 80B עולה 0.5% פרפלקסיות. המדידות בוצעו בהקשר של 1,024 אסימונים על תגובות של 160 טוקנים כל אחד. בממיר של Xiaomi וב-iPad Air 2013, שם לא יותר מ-1GB זמין לתוכנית, אותן טכניקות משמשות להשקת מהירויות דגם 16B Ling-mini-2.0 בגרף.

תרגם לעברית

Нейроканал (RU) · · منبع

בפרויקט הפתוח smolmaxxing, הושק דגם עם 80 מיליארד פרמטרים בטלפון. ב-OnePlus Nord CE 2 משנת 2022, Qwen3-Next-80B-A3B מנפיק 2.6-3.1 אסימונים לשנייה עם שיא של כ-5GB זיכרון, Qwen3.6-35B-A3B 4.9-5.7. הספרות התחתונות מתקבלות בניתוב מדויק, והעליונות עם הסטה קלה של הנתב לטובת מומחים שכבר בזיכרון: בדגם 80B עולה 0.5% פרפלקסיות. המדידות בוצעו בהקשר של 1,024 אסימונים על תגובות של 160 טוקנים כל אחד. בממיר של Xiaomi וב-iPad Air 2013, שם לא יותר מ-1GB זמין לתוכנית, אותן טכניקות משמשות להשקת מהירויות דגם 16B Ling-mini-2.0 בגרף.

בפרויקט הפתוח smolmaxxing, הושק דגם עם 80 מיליארד פרמטרים בטלפון. ב-OnePlus Nord CE 2 משנת 2022, Qwen3-Next-80B-A3B מנפיק 2.6-3.1 אסימונים לשנייה עם שיא של כ-5GB זיכרון, Qwen3.6-35B-A3B 4.9-5.7. הספרות התחתונות מתקבלות בניתוב מדויק, והעליונות עם הסטה קלה של הנתב לטובת מומחים שכבר בזיכרון: בדגם 80B עולה 0.5% פרפלקסיות. המדידות בוצעו בהקשר של 1,024 אסימונים על תגובות של 160 טוקנים כל אחד. בממיר של Xiaomi וב-iPad Air 2013, שם לא יותר מ-1GB זמין לתוכנית, אותן טכניקות משמשות להשקת מהירויות דגם 16B Ling-mini-2.0 בגרף.

این یک به روز رسانی llama.cpp برای MoE است: برخی از مشاوران متخصص در حافظه هستند، بقیه از درایو فلش هنگامی که روتر آنها را انتخاب می کند فراخوانی می شوند و مشاوران متخصص لایه بعدی از قبل بارگذاری شده اند. همه چیز روی پردازنده، در اندروید بدون روت محاسبه می شود.

کارشناسان به 2 بیت فشرده شدند و پاسخ های طولانی حلقه شدند: با توجه به اندازه گیری های نویسندگان، پنالتی تکرار تعداد پاسخ های حلقه ای را از 12 از 13 به 1 از 13 کاهش داد. فایل‌های آماده برای تلفن نیز می‌توانند توسط llama.cpp معمولی باز شوند، اما فقط یک ساخت وصله‌شده سرعت‌های ادعا شده را ارائه می‌دهد. همکاران با جزئیات بیشتری نحوه کار جایگزینی مشاور متخصص را تجزیه و تحلیل کرده اند.

بیشتر در Radar

می‌خواهید همه گزارش‌ها را لحظه‌ای ببینید؟

صدها منبع از سراسر جهان، ترجمه‌شده به زبان شما، با هشدار برای آنچه برایتان مهم است.

ثبت‌نام رایگان
Share on WhatsApp Get alerts on Telegram