کار جدید جالب در تنظیم دقیق با تنظیم مجدد تعداد کمی از وزنه ها.
اثربخشی شگفت انگیز حذف وزن در LLM پس از تمرین
جک لو، ژنبانگ یانگ، مایک لاسبی، تگزاس فوتا، یانی یوان، منگیا رن.
کاغذ:.
بررسی:.
پروژه:.
کد: .
مدل:.
کلید: مدل های زبان از قبل آموزش دیده می توانند مهارت های تفکر و ابزار جدید را بدون نوشتن وزن های جدید بیاموزند. در مقیاس بزرگ، کافی است کمتر از 0.05 درصد پارامترها را بازنشانی کنید و قابلیت های قبلی تحت تأثیر قرار نخواهند گرفت.
کاری که آنها انجام دادند: نویسندگان یک روش پس از آموزش به نام تنظیم حذف را پیشنهاد کردند که با یک مدل منجمد با استفاده از آموزش ماسک باینری برای پیش بینی های گیت MLP مطابقت دارد. وزن های انتخاب شده دست نخورده باقی می مانند، در حالی که بقیه به صفر می رسند.
آنچه ما به دست آوردیم: در بزرگترین مدل های آزمایش شده، آن را با تنظیم دقیق کامل برابر بود. با یادگیری تقویتی، دقت در مسائل قدیمی بیش از 1 امتیاز از مدل پایه کاهش نمی یابد، اگرچه مدل های کوچک گاهی اوقات تنها 90 درصد از دقت به روز رسانی متراکم را به دست می آورند.
چرا مهم است: سیستم های استنتاج می توانند وظایف را با بیت ماسک های مگابایتی در یک مدل معمولی بدون از دست دادن مهارت های قدیمی تغییر دهند. با این حال، آموزش متوالی بیشتر در عمل آزمایش نشده است. آداپتورهای کلاس 1 غیر فشرده bf16 اغلب از نظر اندازه کوچکتر هستند و خود آموزش به حافظه بسیار بیشتری نیاز دارد.
صفر اینجا: