Radar התראות בטלגרם פתחו את Radar

בפרויקט הפתוח smolmaxxing, הושק דגם עם 80 מיליארד פרמטרים בטלפון. ב-OnePlus Nord CE 2 משנת 2022, Qwen3-Next…

הצג מקור

Нейроканал (RU) · · מקור

בפרויקט הפתוח smolmaxxing, הושק דגם עם 80 מיליארד פרמטרים בטלפון. ב-OnePlus Nord CE 2 משנת 2022, Qwen3-Next…

בפרויקט הפתוח smolmaxxing, הושק דגם עם 80 מיליארד פרמטרים בטלפון. ב-OnePlus Nord CE 2 משנת 2022, Qwen3-Next-80B-A3B מנפיק 2.6-3.1 אסימונים לשנייה עם שיא של כ-5GB זיכרון, Qwen3.6-35B-A3B 4.9-5.7. הספרות התחתונות מתקבלות בניתוב מדויק, והעליונות עם הסטה קלה של הנתב לטובת מומחים שכבר בזיכרון: בדגם 80B עולה 0.5% פרפלקסיות. המדידות בוצעו בהקשר של 1,024 אסימונים על תגובות של 160 טוקנים כל אחד. בממיר של Xiaomi וב-iPad Air 2013, שם לא יותר מ-1GB זמין לתוכנית, אותן טכניקות משמשות להשקת מהירויות דגם 16B Ling-mini-2.0 בגרף.

זהו עדכון llama.cpp ל-MoE: חלק מהיועצים המומחים נמצאים בזיכרון, השאר נקראים מכונן פלאש כאשר הנתב בוחרים אותם, והיועצים המומחים של השכבה הבאה נטענים מראש. הכל מחושב על המעבד, באנדרואיד ללא root.

המומחים נדחסים ל-2 ביטים, והתשובות הארוכות היו בלולאה: לפי מדידות המחברים, העונש על חזרות הפחית את מספר התשובות הלולאות מ-12 מתוך 13 ל-1 מתוך 13. קבצים מוכנים לטלפון יכולים להיפתח גם על ידי llama.cpp רגיל, אך רק בנייה עם פאץ' מספקת את המהירויות המוצהרות. עמיתים ניתחו בפירוט רב יותר כיצד פועל החלפת היועץ המומחה.

עוד דיווחים ב-Radar

רוצים לראות את כל הדיווחים בזמן אמת?

מאות מקורות מכל העולם, מתורגמים לעברית, עם התראות על מה שחשוב לכם.

התחברו בחינם
שתף בוואטסאפ קבלו התראות בטלגרם

📢 עקבו בערוץ הוואטסאפ