Radar התראות בטלגרם פתחו את Radar

הנה עוד קטע מגניב על ניהול הקשר חכם באמצעות רתמה, שמאפשר למודל לא לעבוד עם הקשר ארוך. ב-מודלים של שפת הקשר…

הצג מקור

gonzo ML papers · · מקור

הנה עוד קטע מגניב על ניהול הקשר חכם באמצעות רתמה, שמאפשר למודל לא לעבוד עם הקשר ארוך. ב-מודלים של שפת הקשר האחרונים, המודל עצמו כתב מחדש את ההקשר שלו כקובץ בדיסק. הרתמה אחראית לזה כאן. התוצאה מגניבה: האיכות לרוב לא שוקעת (ולפעמים אפילו עולה). יש באמת בעיה עם איפוס מטמונים וסביר להניח שהיעדר חיסכון כספי כתוצאה מכך. מחברי המאמר לא פרסמו חפצי קוד, ביקשתי מקלוד להרכיב מיומנות שמשחזרת את הגישה המתוארת במאמר, ופרסמתי אותה כאן: הוא מלמד את הסוכן שני דברים מהמאמר: לא לטעון קבצים גדולים בהקשר, אלא לחפש עם grep ולקרוא בחלונות מוגבלים, ובמהלך משימה ארוכה, לשמור על אותו תקציר מסירה בן שישה חלקים (מטרה, עובדות מאומתות בנפרד מהשערות, שינויים שבוצעו, בדיקות ריצה, מבוי סתום, תכנון שלבים נוספים). המיומנות נאספת בעצמה במשימות ארוכות מרובות שלבים ובכניסות גדולות, ואיפוס ההקשר נותר ל-קלוד קוד - דחיסה אוטומטית לפי הסף שלו, /קומפקטי או /ידים ברורות; בכל מקרה, וו הפלאגין מחזיר את הבריף, והסוכן ממשיך מאותו מקום, במקום לחפור הכל שוב. התוצאה היא EoCC; SAC (איפוס לאחר כל פעולה) לא ניתן לעשות ב-קלוד קוד, הוא נמצא רק ברתמת הייחוס בלפת - יחד עם EoCC ו-קו בסיס ללא דחיסה. עדיין לא בדקתי את זה בקפידה, ייתכן שיש באגים. יחסי ציבור מתקבלים:) אתה לא צריך הקשר ארוך פיטר בלקאק, סאורב מוראלידהארן, ג'ינדונג ג'יאנג, יונגגן פו, וונמין בייון, האנרונג יה, ריאן אנג'ילי, עלי תגיבאכשי, שי-יאנג ליו, סירו אויאנג, גרג היינריך, פבלו מולצ'אנוב נייר: סקירה: קוד: לא רלוונטי (יישום מחדש לא רשמי) מפתח: מודלים של שפה מטפלים במשימות ארוכות המבוססות על סוכנים ומסמכים גדולים בחלון הקשר קצר ללא אובדן דיוק.

עוד דיווחים ב-Radar

רוצים לראות את כל הדיווחים בזמן אמת?

מאות מקורות מכל העולם, מתורגמים לעברית, עם התראות על מה שחשוב לכם.

התחברו בחינם
שתפו בוואטסאפ קבלו התראות בטלגרם

📢 עקבו בערוץ הוואטסאפ