Radar Telegram alerts Ouvrir Radar

בפרויקט הפתוח smolmaxxing, הושק דגם עם 80 מיליארד פרמטרים בטלפון. ב-OnePlus Nord CE 2 משנת 2022, Qwen3-Next-80B-A3B מנפיק 2.6-3.1 אסימונים לשנייה עם שיא של כ-5GB זיכרון, Qwen3.6-35B-A3B 4.9-5.7. הספרות התחתונות מתקבלות בניתוב מדויק, והעליונות עם הסטה קלה של הנתב לטובת מומחים שכבר בזיכרון: בדגם 80B עולה 0.5% פרפלקסיות. המדידות בוצעו בהקשר של 1,024 אסימונים על תגובות של 160 טוקנים כל אחד. בממיר של Xiaomi וב-iPad Air 2013, שם לא יותר מ-1GB זמין לתוכנית, אותן טכניקות משמשות להשקת מהירויות דגם 16B Ling-mini-2.0 בגרף.

תרגם לעברית

Нейроканал (RU) · · Source

בפרויקט הפתוח smolmaxxing, הושק דגם עם 80 מיליארד פרמטרים בטלפון. ב-OnePlus Nord CE 2 משנת 2022, Qwen3-Next-80B-A3B מנפיק 2.6-3.1 אסימונים לשנייה עם שיא של כ-5GB זיכרון, Qwen3.6-35B-A3B 4.9-5.7. הספרות התחתונות מתקבלות בניתוב מדויק, והעליונות עם הסטה קלה של הנתב לטובת מומחים שכבר בזיכרון: בדגם 80B עולה 0.5% פרפלקסיות. המדידות בוצעו בהקשר של 1,024 אסימונים על תגובות של 160 טוקנים כל אחד. בממיר של Xiaomi וב-iPad Air 2013, שם לא יותר מ-1GB זמין לתוכנית, אותן טכניקות משמשות להשקת מהירויות דגם 16B Ling-mini-2.0 בגרף.

בפרויקט הפתוח smolmaxxing, הושק דגם עם 80 מיליארד פרמטרים בטלפון. ב-OnePlus Nord CE 2 משנת 2022, Qwen3-Next-80B-A3B מנפיק 2.6-3.1 אסימונים לשנייה עם שיא של כ-5GB זיכרון, Qwen3.6-35B-A3B 4.9-5.7. הספרות התחתונות מתקבלות בניתוב מדויק, והעליונות עם הסטה קלה של הנתב לטובת מומחים שכבר בזיכרון: בדגם 80B עולה 0.5% פרפלקסיות. המדידות בוצעו בהקשר של 1,024 אסימונים על תגובות של 160 טוקנים כל אחד. בממיר של Xiaomi וב-iPad Air 2013, שם לא יותר מ-1GB זמין לתוכנית, אותן טכניקות משמשות להשקת מהירויות דגם 16B Ling-mini-2.0 בגרף.

Il s'agit d'une mise à jour de llama.cpp vers MoE : certains des conseillers experts sont en mémoire, les autres sont appelés à partir d'un lecteur flash lorsque le routeur les sélectionne, et les conseillers experts de la couche suivante sont préchargés. Tout est calculé sur le processeur, sur Android sans root.

Les experts ont été compressés sur 2 bits, et les réponses longues ont été bouclées : selon les mesures des auteurs, la pénalité de répétition a réduit le nombre de réponses en boucle de 12 sur 13 à 1 sur 13. Les fichiers prêts pour le téléphone peuvent également être ouverts par llama.cpp classique, mais seule une version corrigée offre les vitesses revendiquées. Les collègues ont analysé plus en détail le fonctionnement du remplacement de l'expert-conseil.

Plus sur Radar

Envie de voir tous les signalements en temps réel ?

Des centaines de sources dans le monde, traduites dans votre langue, avec des alertes sur ce qui compte pour vous.

Inscription gratuite
Share on WhatsApp Get alerts on Telegram