في المشروع المفتوح smolmaxxing، تم إطلاق نموذج يحتوي على 80 مليار معلمة على الهاتف. في OnePlus Nord CE 2 اعتبارًا من عام 2022، يصدر Qwen3-Next-80B-A3B 2.6-3.1 رمزًا مميزًا في الثانية مع ذروة ذاكرة تبلغ حوالي 5 جيجابايت، وQwen3.6-35B-A3B 4.9-5.7. يتم الحصول على الأرقام السفلية من خلال التوجيه الدقيق، والأرقام العلوية من خلال تحول طفيف في جهاز التوجيه لصالح الخبراء الموجودين بالفعل في الذاكرة: في نموذج 80B، يزداد البارافليكسيا بنسبة 0.5%. تم إجراء القياسات في سياق 1024 رمزًا على استجابات كل منها 160 رمزًا. في جهاز فك التشفير Xiaomi وجهاز iPad Air 2013، حيث لا يتوفر أكثر من 1 جيجابايت للبرنامج، يتم استخدام نفس التقنيات لإطلاق سرعات Model 16B Ling-mini-2.0 في الرسم البياني.
هذا تحديث llama.cpp لـ MoE: بعض المستشارين الخبراء موجودون في الذاكرة، ويتم استدعاء الباقي من محرك أقراص محمول عندما يحددهم جهاز التوجيه، ويتم تحميل المستشارين الخبراء للطبقة التالية مسبقًا. يتم حساب كل شيء على المعالج، على نظام Android بدون جذر.
تم ضغط الخبراء إلى بتتين، وتم تكرار الإجابات الطويلة: وفقًا لقياسات المؤلفين، أدت عقوبة التكرار إلى تقليل عدد الإجابات المتكررة من 12 من أصل 13 إلى 1 من أصل 13. يمكن أيضًا فتح الملفات الجاهزة للاستخدام على الهاتف عن طريق llama.cpp العادي، ولكن الإصدار المصحح فقط هو الذي يوفر السرعات المطالب بها. قام الزملاء بتحليل بمزيد من التفصيل كيفية عمل استبدال المستشار الخبير.