امسال متغیرهای حلقه رایج شده‌اند، به‌ویژه در شش ماه گذشته کار زیادی در آن‌ها ظاهر شده است که می‌توانید به طور مداوم چندین بار در روز در مورد آن بنویسید. در اینجا مقاله دیگری وجود دارد که استراتژی‌های حلقه‌ای متفاوتی را امتحان کرده است و به طور جالبی دریافته است که بسته به محدودیت‌ها (جدول یا پارامترها) متفاوت اعمال می‌شوند. موضوع LoRA نیز سرگرم کننده است. 149 صفحه کاملاً مسخره است. همانطور که LLM واقعا برای LLM نوشته شده است، خواندن دستی دیگر امکان پذیر نیست. چگونه ترانسفورماتور خود را حلقه کنید: مقیاس بندی حلقه، تخصص و استنتاج موازی. لایه) فقط برای Backdladgondgondladladladladladladladgondela: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه: چه چیزی: حلقه مشترک (متریس حلقه) و PLT تغییر یافته عادی، گونه‌ای از ترانسفورماتورهای حلقه موازی (که در آن حالت‌های حلقه، نشانه‌های همسایه را برای رمزگذاری موازی تغییر می‌دهند)، که در آن نشانه فعلی جاسازی می‌شود. و حالت اولی به طور جداگانه با استفاده از RMS Norm قبل از مخلوط کردن هنجار می شوند. آنچه شما دارید: با تعداد ثابتی از پارامترها، تعمیرات اساسی کامل بهتر عمل می کند، و با محدودیت در FLOP - Mid-Stack Looping. در DCLM با پارامترهای 200M (40 توکن در هر پارامتر، TPP)، PLT تغییر یافته معمولی 4-بازیافت شده بیت‌ها در هر BPB (BPB) را به 1.060 در مقایسه با -1.087 برای PLT اصلی و 1.088 برای پایه بدون چرخه کاهش می‌دهد. در پارامترهای 1B، دو چرخه PLT بازیافت شده، BPB (-0.86 در مقابل 0.90- در 80 TPP) و دقت در 8 کار (~47.5٪ در مقابل -46.1٪ در 160 TPP) را بهبود می بخشد.